不可以与精神病人协议离婚，如果配偶打算解除婚姻关系的，只能依法向法院提起离婚诉讼。而在庭审过程中，一般也是由精神病人的监护人出庭，精神病人一方是不用出庭的。

《婚姻登记条例》第六条规定，一方或双方当事人为限制民事行为能力人或者无民事行为能力人的，婚姻登记管理机关不予受理。对于夫妻一方为无行为能力人或限制行为能力人的离婚应依诉讼程序，并由其法定代理人代理诉讼。