首付款交了贷款贷不下来是可以退首款的,需不需要交违约金就要根据贷不了款的原因而定。如果是银行原因贷不了款的,购房者可以和卖家协商解除购房合同,并且不必承担违约责任,卖家应该无条件退还购房首付。如果是因为购房者自身原因,购房者需要承担违约责任,同时卖家应该返还首付款。