开除公职以判处刑罚为前提。而不予起诉是指人民检察院对公安机关侦查终结移送起诉的案件或自行侦查终结的案件，经审查认为犯罪嫌疑人的行为不构成犯罪或依法不应追究刑事责任的，作出不向人民法院提起公诉的一种决定。不起诉的效力是结束刑事诉讼，犯罪嫌疑人就不会再受到刑法追责从而承担刑事责任了。因此，犯罪嫌疑人也不会被开除公职。

《行政机关公务员处分条例》第十七条规定，行政机关公务员依法被判处刑罚的，给予开除处分。