男方是否有权要回抚养权，在于目前孩子所生活的环境是否有利于其健康成长。如果女方抚养子女有不利于子女健康成长的情形的，男方可以要求变更抚养权。变更抚养权的方式有协议变更和诉讼变更。

《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第15条：离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应当另行起诉。