不交违约金是不行的，如果购房人不按时缴纳违约金是有相应的惩罚的。根据《中华人民共和国合同法》第一百一十四条第三款的规定，当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。如因购房人未履行相应的义务给对方造成扩大损失的，对方将会追究相应的责任。《合同法》第一百一十九条的规定，当事人一方违约后，对方应当采取适当措施防止损失的扩大；没有采取适当措施致使损失扩大的，不得就扩大的损失要求赔偿。当事人因防止损失扩大而支出的合理费用，由违约方承担。