应该由人民法院根据双方共同生活的时间、彩礼数额并结合当地农村的风俗习惯等因素，确定是否返还及返还数额。
关于彩礼返还问题，最高人民法院司法解释二中曾规定对于1.双方未办理结婚登记手续的；
2.双方办理结婚登记手续但确未共同生活的；
3.婚前给付并导致给付人生活困难的种情形下，当事人可以要求返还彩礼。但是对于未登记但是实际同居生活的情况应该如何处理则没有在婚姻法司法解释二中做出明确规定。
随后最高人民法院在《全国民事审判工作会议纪要（）》中明确《关于适用中华人民共和国婚姻法若干问题的解释（二）》第十条第一款第（一）项规定针对的是双方并未共同生活的情形，并对未登记结婚但共同生活的情况规定“如果未婚男女双方确已共同生活但最终未登记结婚，人民法院可以根据双方共同生活的时间、彩礼数额并结合当地农村的风俗习惯等因素，确定是否返还及返还数额”。
司法依据：
《婚姻法司法解释二》

第十条当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续的；

（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。

适用前款第（二）、（三）项的规定，应当以双方离婚为条件。
《全国民事审判工作会议纪要（）》
50、婚约财产纠纷案件中，当事人请求返还以结婚为条件而给付的彩礼，如果未婚男女双方确已共同生活但最终未登记结婚，人民法院可以根据双方共同生活的时间、彩礼数额并结合当地农村的风俗习惯等因素，确定是否返还及返还数额。
《关于适用中华人民共和国婚姻法若干问题的解释（二）》第十条第一款第（一）项规定针对的是双方并未共同生活的情形。