可以法院起诉要回抚养权，法院会考虑双方的工作性质、工作稳定性、经济状况等以有利于孩子健康成长为原则判决归谁抚养。

【法律依据】

《婚姻法》第37条，离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决。关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。