行政机关实施行政处罚时,应当责令当事人改正或者限期改正违法行为.是否正确?这句话是正确的。法律原文:《中华人民共和国行政处罚法》第二十三条 行政机关实施行政处罚时,应当责令当事人改正或者限期改正违法行为。以上就是我为大家总结的内容,希望大家明白。