延迟去税务局缴纳罚金的，由税务机关责令限期改正，可以处罚款。

根据《税收征收管理法》第六十二条的规定，纳税人未按照规定的期限办理纳税申报和报送纳税资料的；

或者扣缴义务人未按照规定的期限向税务机关报送代扣代缴、代收代缴税款报告表和有关资料的；

由税务机关责令限期改正，可以处二千元以下的罚款；情节严重的，可以处二千元以上一万元以下的罚款。