子女监护权被剥夺或限制，只能由法院来仲裁或判决。

法律依据：《民法总则》第三十八条，被监护人的父母或者子女被人民法院撤销监护人资格后，除对被监护人实施故意犯罪的外，确有悔改表现的；

经其申请，人民法院可以在尊重被监护人真实意愿的前提下，视情况恢复其监护人资格，人民法院指定的监护人与被监护人的监护关系同时终止。