劳动合同的违约金应该按照公平、合理的原则在劳动合同中约定。《关于实施〈上海市劳动合同条例〉若干问题的通知》规定：“约定的违约金数额畸高的，当事人可以要求适当减少。双方当事人因违约金发生争议的，可以按劳动争议处理程序解决。”因此，如果劳动者认为用人单位在劳动合同中设定的违约金过高，可以与用人单位协商，或向劳动仲裁委员会提起申请，请求司法机构裁决违约金的数额。