违反房屋租赁合同的约定时，违约方要承担违约责任，一般违约方要向对方赔偿违约金或者实际造成的损失。《合同法》第一百一十三条规定，当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失；包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。