如果在离婚时夫妻双方都拒绝直接抚养子女或者争抢直接抚养子女，根据《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见 》第20条规定，在离婚诉讼期间，双方均拒绝抚养子女的，可先行裁定暂由一方抚养，以保障离婚诉讼的顺利进行。离婚后，父母对于子女仍有抚养和教育的权利和义务。离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。孩子的抚养权判定一般是从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。