根据劳动法的相关规定，只有在两种情况下由劳动者承担违约金：
(一)用人单位为劳动者提供了培训费用时可以约定违约金，并且违约金的数额不得超过用人单位提供的培训费用。
(二)用人单位给付劳动者竞业限制经济补偿，并且规定了竞业限制的时间不得超过两年。因此根据劳动法的相关规定，除了法律规定的上述两种情形外，用人单位不得与劳动者约定由劳动者承担违约金。用人单位以任何名义、任何形式约定违约金都是违法的。