因为交付了购房款，虽然你们没有签订购房合同，但实际上你们的房屋买卖合同已经事实成立了。无正当理由退房属于违约，应承担违约责任。《合同法》规定，法律、行政法规规定或者当事人约定采用书面形式订立合同，当事人未采用书面形式但一方已经履行主要义务，对方接受的，该合同成立。
同时《合同法》规定，有下列情形之一的，当事人可以解除合同：
(一)因不可抗力致使不能实现合同目的
(二)在履行期限届满之前，当事人一方明确表示或者以自己的行为表明不履行主要债务
(三)当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行
(四)当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的
(五)法律规定的其他情形。
若能证明卖方有上述行为，可以要求退款，在该情况下解除合同不用承担违约责任。
《中华人民共和国合同法》第三十六条
【书面合同与合同成立】法律、行政法规规定或者当事人约定采用书面形式订立合同，当事人未采用书面形式但一方已经履行主要义务，对方接受的，该合同成立。