如果你俩不构成国家认可的事实婚姻，就不是夫妻，相互之间没有法定权利和义务，也不存在离婚，
双方可以协议分手，
达不成分手协议，可以起诉解决。
至于赔偿，因为不是夫妻，不存在赔偿问题。
《婚姻法》司法解释三：
第五条
未按婚姻法第八条规定办理结婚登记而以夫妻名义共同生活的男女，起诉到人民法院要求离婚的，应当区别对待：
一，1994年2月1日民政部《婚姻登记管理条例》公布实施以前，男女双方已经符合结婚实质要件的，按事实婚姻处理。
二，1994年2月1日民政部《婚姻登记管理条例》公布实施以后，男女双方符合结婚实质要件的，人民法院应当告知其在案件受理前补办结婚登记；未补办结婚登记的，按解除同居关系处理。