法律规定女方在怀孕期间、分娩后1年内或中止妊娠后6个月内，男方不得提出离婚，没有规定女方对正在服刑的男方不得提出离婚。因此，你可以向法院起诉离婚。根据法律规定，法院判决离婚的条件是双方感情确已破裂，如果法院通过审理，发现你们的夫妻感情确已破裂，就会判决准予离婚，不会因为有可能影响你丈夫的服刑而不准予你们离婚。