建筑工地发生的高空坠物致死的刑事责任只能由直接的侵权人来承担，如果家属没办法确认直接的侵权人，那只能要求建筑或者施工单位承担民事赔偿责任。

【法律依据】

《侵权责任法》第八十五条，建筑物、构筑物或者其他设施及其搁置物、悬挂物发生脱落、坠落造成他人损害，所有人、管理人或者使用人不能证明自己没有过错的，应当承担侵权责任。所有人、管理人或者使用人赔偿后，有其他责任人的，有权向其他责任人追偿。