可以向法院起诉要回。法律规定，一方要求变更子女抚养权，有下列条件之一的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。一方患病或者伤残，必然影响到对孩子的教育和照料，从孩子成长的角度出发，不是“如何变更抚养权？”的问题，而是必须要变更孩子抚养权问题。

（二）与子女一同生活的一方不尽抚养义务或有虐待行为的或其与子女共同生活对子女身心健康有不利影响的。有的父母离婚时争夺抚养权不是为了给孩子创造更好的生活条件，只是为了在财产分割或是为了达到报复的目的。目的一旦达到，就对孩子不管不问，不履行自己的抚养义务，有的还甚至对孩子打骂虐待。在这种情况下，如何变更抚养权？关心孩子成长的另一方可以要求变更离婚孩子抚养权。但是，变更抚养权不能要求重新分割原有的共同财产。

（三）8周岁以上未成年子女，愿随另一方生活的。十周岁以上的未成年人属于限制行为能力人，可以从事与其年龄相关的民事活动。父母离婚时，对于十周岁以上的子女的抚养权归属，应当听取孩子的意见。而在离婚时不满十周岁，过了几年，超过十周岁后，如果孩子明确表示愿意跟随另一方生活，就可以申请变更离婚孩子抚养权。

（四）有其它正当理由需要变更的。这是个兜底条款，社会现实是复杂的也是在不断发展的，对于那些制定司法解释时考虑不到的问题，司法解释赋予了法官一定的自由裁量权，在这里，如何变更抚养权？法官可以根据自己对客观情况的主观认识来判断是否应该变离婚孩子抚养权。

根据以上规定，只要具有上述任意一个条件，即可向人民法院申请变更抚养权。

一、离婚的时候孩子抚养权判给女方的几率大吗

离婚的时候，如果满足以下情形之一的，孩子抚养权判给女方的几率较大：

（一）两周岁以内的子女一般随母亲生活。

（二）孩子虽然两周岁以上了，女方已做绝育手术，男方未做，且男方年龄与女方年龄差距不是很大，孩子判归女方的可能性较大。

（三）孩子一直随母亲生活，如果离婚后改为随父亲生活对其生活习惯改变较大且影响其成长的，孩子判归女方可能性较大。

（四）男女双方的抚养条件，如工作稳定程度、收入情况差距不大的前提下，如果男方对于夫妻感情破裂有过错，比如，有证据证明有婚外情等，孩子判归女方的可能性较大。

（五）男方有不良嗜好，如赌博、汹酒等恶习等。考虑到其恶习对孩子成长有不利影响，法院一般会将孩子判归女方。

（六）如果男女双方均无明显过错，各方面条件都相当，如果女方的思想品质好一些，更有时间照顾孩子，得到孩子抚养权的可能性就会更大。

（七）八周岁以上的孩子愿意随母亲生活的。

二、离婚后孩子可以共同抚养吗

离婚后孩子可以共同抚养，《中华人民共和国民法典》和《最高人民法院关于适用婚姻家庭编的解释（一）》，明确规定了，夫妻协议共同抚养子女是准许的，但是要在有利于保护子女利益的前提下，而且要由双方协商确定。