《最高人民法院关于适用中华人民共和国婚姻法若干问题的解释》二第十条规定：当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续的
(二)双方办理结婚登记手续但确未共同生活的
(三)婚前给付并导致给付人生活困难的。适用前款第(二)、(三)项的规定，应当以双方离婚为条件。
根据本条规定，如果男方给付彩礼后，双方未办理婚姻登记，或者虽然办理了结婚登记确未共同生活，或者给付彩礼后导致男方家庭生活困难，离婚时应当退还彩礼。如果不属于上述情形，则不需要退还彩礼。