当精神病人监护人不履行监护的职责时，精神病人的利害关系人可以向法院申请撤销监护人的资格，变更监护人。
《中华人民共和国民法通则》
第十八条监护人应当履行监护职责，保护被监护人的人身、财产及其他合法权益，除为被监护人的利益外，不得处理被监护人的财产。
监护人依法履行监护的权利，受法律保护。
监护人不履行监护职责或者侵害被监护人的合法权益的，应当承担责任给被监护人造成财产损失的，应当赔偿损失。人民法院可以根据有关人员或者有关单位的申请，撤销监护人的资格。