不可以与精神病人协议离婚，由于精神病人属于无民事行为能力人或者限制民事行为能力人，所以也就不能通过在民政部门办理协议离婚的方式进行离婚，只能通过诉讼方式离婚。

【法律依据】

我国《婚姻登记条例》规定，办理离婚登记的当事人有下列情形之一的，婚姻登记机关不予受理：

(一)未达成离婚协议的;

(二)属于无民事行为能力人或者限制民事行为能力人的;

(三)其结婚登记不是在中国内地办理的。