离婚时双方都要孩子抚养权，可以向法院起诉，由法院判决。
法律依据：《婚姻法》第三十六条：离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。
哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。
