一般情况下，用人单位和劳动者都应该遵守劳动合同的约定。但是，如果予以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同的。

或者用人单位免除自己的法定责任、排除劳动者权利的，以及违反法律、行政法规强制性规定的，都属于无效劳动合同。这种情况下的劳动合同可以不用遵守。