不遵守法定程序的行政处罚无效的依据是：《行政诉讼法》第七十条，行政行为有下列情形之一的，人民法院判决撤销或者部分撤销，并可以判决被告重新作出行政行为：

（一）主要证据不足的；

（二）适用法律、法规错误的；

（三）违反法定程序的；

（四）超越职权的；

（五）滥用职权的；

（六）明显不当的。