税务稽查局是属于税务机关的一部分，税务机关对税务违法行为可以给予行政处罚的，所以税务稽查局有行政处罚权。

税务机关负责征收、管理、稽查、行政复议的人员的职责应当明确，并相互分离、相互制约。

纳税人有下列行为之一的，由税务机关责令限期改正，可以处二千元以下的罚款；
情节严重的，处二千元以上一万元以下的罚款：
(一)未按照规定的期限申报办理税务登记、变更或者注销登记的；
(二)未按照规定设置、保管帐簿或者保管记帐凭证和有关资料的；
(三)未按照规定将财务、会计制度或者财务、会计处理办法和会计核算软件报送税务机关备查的；
(四)未按照规定将其全部银行帐号向税务机关报告的；
(五)未按照规定安装、使用税控装置，或者损毁或者擅自改动税控装置的。
纳税人不办理税务登记的，由税务机关责令限期改正；
逾期不改正的，经税务机关提请，由工商行政管理机关吊销其营业执照。
纳税人未按照规定使用税务登记证件，或者转借、涂改、损毁、买卖、伪造税务登记证件的，处二千元以上一万元以下的罚款；
情节严重的，处一万元以上五万元以下的罚款。

法律依据

《中华人民共和国税收征收管理法》第十一条 税务机关负责征收、管理、稽查、行政复议的人员的职责应当明确，并相互分离、相互制约。

《中华人民共和国税收征收管理法》第六十条 纳税人有下列行为之一的，由税务机关责令限期改正，可以处二千元以下的罚款;情节严重的，处二千元以上一万元以下的罚款:
(一)未按照规定的期限申报办理税务登记、变更或者注销登记的;
(二)未按照规定设置、保管帐簿或者保管记帐凭证和有关资料的;
(三)未按照规定将财务、会计制度或者财务、会计处理办法和会计核算软件报送税务机关备查的;
(四)未按照规定将其全部银行帐号向税务机关报告的;
(五)未按照规定安装、使用税控装置，或者损毁或者擅自改动税控装置的。
纳税人不办理税务登记的，由税务机关责令限期改正;逾期不改正的，经税务机关提请，由工商行政管理机关吊销其营业执照。
纳税人未按照规定使用税务登记证件，或者转借、涂改、损毁、买卖、伪造税务登记证件的，处二千元以上一万元以下的罚款;情节严重的，处一万元以上五万元以下的罚款。