《劳动合同法》规定，只有在两种情形下，用人单位可以约定由劳动者承担违约金：

1、在培训服务期约定中约定违约金。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。

2、在竞业限制约定中约定违约金。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。