根据我国《行政处罚法》规定，限制人身自由的行政处罚权只能由公安机关行使。

【法律依据】

《行政处罚法》第十六条，国务院或者经国务院授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权，但限制人身自由的行政处罚权只能由公安机关行使。