用人单位不能扣押劳动者档案，如果劳动者从用人单位离职，单位应当在其离职后及时办理档案转移手续，否则将会面临处罚。

《劳动合同法》第八十四条规定：用人单位违反本法规定，扣押劳动者居民身份证等证件的，由劳动行政部门责令限期退还劳动者本人，并依照有关法律规定给予处罚。

劳动者依法解除或者终止劳动合同，用人单位扣押劳动者档案或者其他物品的，依照前款规定处罚。