监护人不履行监护职责，或者侵害了被监护人的合法权益，其他有监护资格的人或者单位可以向人民法院起诉，要求变撤销其监护资格。

夫妻离婚后，与子女共同生活的一方无权取消另一方方对该子女的监护权；但是，未与该子女共同生活的一方，对该子女有犯罪行为、虐待行为或者对该子女明显不利的，人民法院认为可以取消的除外。

如何申请变更监护人向哪个部门申请？

可以向法院起诉；监护人不履行监护职责，或者侵害了被监护人的合法权益，其他有监护资格的人或者单位向人民法院起诉，要求监护人承担民事责任的，按照普通程序审理；要求变更监护关系的，按照特别程序审理；既要求承担民事责任，又要求变更监护关系的，分别审理。

根据《民法典》的规定，监护人不履行监护职责，或者侵害了被监护人的合法权益，其他有监护资格的人或者单位向人民法院起诉，要求监护人承担民事责任的，按照普通程序审理；要求变更监护关系的，按照特别程序审理；既要求承担民事责任，又要求变更监护关系的，分别审理。

监护人可能由于以下三种原因不能承担监护职责

1、监护人不具备监护资格；

2、监护人不履行监护职责，将可能给被监护人造成损害的或者已给被监护人造成损害的；

3、申请变更监护人的，即有关组织依照《民法典》规定指定监护人，以书面或口头通知了被指定人的，应当认定指定成立。被指定人不服的，应当在接到通知的次日起30日内向人民法院起诉。逾期起诉的，按变更监护关系处理。

《民法典》第三十六条，监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：

（一）实施严重损害被监护人身心健康的行为；

（二）怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；

（三）实施严重侵害被监护人合法权益的其他行为。

本条规定的有关个人、组织包括：其他依法具有监护资格的人，居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。

前款规定的个人和民政部门以外的组织未及时向人民法院申请撤销监护人资格的，民政部门应当向人民法院申请。