离婚时双方都不愿意抚养孩子可以由法院判决孩子由一方抚养，另一方支付抚养费。

《婚姻法》第三十六条规定，离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。

《婚姻法》第三十七条规定，离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决。