子女在未成年时父母双亡，或者父母丧失抚养能力祖父母才可以有抚养权。

根据我国《婚姻法》第28条，有负担能力的祖父母、外祖父母，对于父母已经死亡或父母无力抚养的未成年的孙子女、外孙子女，有抚养的义务。

有负担能力的孙子女、外孙子女，对于子女已经死亡或子女无力赡养的祖父母、外祖父母，有赡养的义务。