限制人身自由的行政处罚权，只能由法律设定。根据我国《行政处罚法》规定，法律可以设定各种行政处罚。限制人身自由的行政处罚，只能由法律设定。行政法规可以设定，除限制人身自由以外的行政处罚。地方性法规可以设定，除限制人身自由、吊销营业执照以外的行政处罚。
另外，限制人身自由的行政处罚权，只能由公安机关行使。根据我国《治安管理处罚法》规定，国务院公安部门负责全国的治安管理工作。县级以上地方各级人民政府公安机关，负责本行政区域内的治安管理工作。治安管理处罚，由县级以上人民政府公安机关决定；其中警告、500元以下的罚款，可以由公安派出所决定。

法律依据

《中华人民共和国行政处罚法》第九条 行政处罚的种类： （一）警告、通报批评； （二）罚款、没收违法所得、没收非法财物； （三）暂扣许可证件、降低资质等级、吊销许可证件； （四）限制开展生产经营活动、责令停产停业、责令关闭、限制从业； （五）行政拘留； （六）法律、行政法规规定的其他行政处罚。