双方离婚都不要孩子的法院在判决时主要考虑子女随哪一方生活更有利于子女健康成长，综合双方的经济条件、品格、职业等因素。

如果被指定的一方拒不履行抚养义务，法院可以采取制裁措施迫使其履行自己的义务。

【法律依据】最高人民法院《关于人民法院审理离婚处理子女抚养问题的若干具体意见》第二十条规定，在离婚诉讼期间，双方均拒绝抚养子女的，可先行裁定暂由一方抚养。