双方在离婚时关于是否退还彩礼的问题，是有法可依的。根据《婚姻法解释》第10条第3款规定，判决返还彩礼应当以给付人因给付彩礼造成生活困难为前提。

生活困难，指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，这种困难是一种绝对困难。确实生活困难应当考虑以下因素：

（1）给付人为缔结婚姻，全家共同举债，致使家庭背负债务较多；

（2）家庭成员没有固定收入；

（3）家庭成员中重大疾病；

（4）其他突发事件致使家庭生活困难；

按照举证责任分配原则，给付人对自己生活困难的事由负有举证责任。