当精神病人的责任监护人不履行监护的职责时，精神病人的利害关系人可以向法院申请撤销监护人的资格，变更监护人。

《民法典》第三十六条规定，监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：

（一）实施严重损害被监护人身心健康的行为；

（二）怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；

（三）实施严重侵害被监护人合法权益的其他行为。

本条规定的有关个人、组织包括：其他依法具有监护资格的人，居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。

前款规定的个人和民政部门以外的组织未及时向人民法院申请撤销监护人资格的，民政部门应当向人民法院申请。

精神病人监护人的权利与义务

1、保护被人的人身、财产等合法权益，被监护人出于民事行为能力的限制，不具备全面充分的自我保护能力，相对容易遭受到来自外界的的侵扰和损害。对此，监护人有权利和职责予以保护。

2、管理被监护人的财产，监护人可以依法合理利用和处分被监护人的财产。

3、代理进行民事活动和民事诉讼活动，无民事行为能力人、限制民事行为能力人的监护人是他的法定代理人。监护人所代理进行的活动领域不限，较多地表现为诸如买卖、租赁、借贷等财产性质的活动，也可涉及一些人身性质的民事活动。

4、教育和照顾被监护人，监护人应当尽到教育和照顾被监护的未成年人的职责，使其获得身心健康和生活的安定。

5、对被监护人给他人造成的损害承担民事责任。监护人依法履行监护的权利，受法律保护。监护人如果不履行监护职责或者侵害被监护人的合法利益应当承担责任；给被监护人造成财产损失的，应当赔偿损失。

我国法律对此进一步相关规定，监护人不履行监护职责，侵害被监护人的合法权益的，应当承担赔偿责任；给被监护人造成财产损失的，应当赔偿损失。人民法院可以根据有关人员或者有关单位的申请，撤销监护人的资格。如果因监护人管教不严，致使被监护人实施不法行为造成他人损失的，由监护人承担民事责任。监护人尽了监护职责的，可以适当减轻其民事责任。监护人在承担赔偿责任时，应首先从被监护人的财产中支付赔偿费用，不足部分由监护人以自己的财产适当承担。