离婚协议不能随时变更抚养权，抚养权的变更要符合法定条件和法定程序。法律规定，如果与子女共同生活的一方因患严重疾病无力继续抚养子女，或者是与子女共同生活的一方不尽抚养义务或有虐待子女行为，那么不直接抚养方在离婚后可以通过跟对方协议或是向法院提起诉讼的方式，对小孩的抚养权进行变更。如果不直接抚养方无正当理由，其不得随意变更孩子的抚养权。

一、起诉变更抚养权的条件是什么

众所周知，即使离婚后，抚养权也是可以变更的。那么，抚养权的变更条件有哪些？《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第十六条规定，有以下情况，可以变更抚养权。1、父、母双方达成一致意见可以私下协议变更抚养权。2、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。3、与子女共同生活的一方不尽抚养义务或有虐待行为的，或其与子女共同生活对子女身心健康有不利影响的。有的父母离婚时争夺抚养权不是为了孩子更好的生活，而是为了多分财产或是为了报复对方。4、十周岁以上未成年子女，愿随另一方生活的。对于十周岁以上的子女的抚养权归属，如果孩子明确表示愿意跟随另一方生活，就可以申请变更离婚孩子抚养权。5、其它正当理由。这是一个兜底条款，司法解释赋予了法官一定的自由裁量权，在这里，法官可以根据自己对客观情况的主观认识来判断是否应该变更孩子的抚养权。

二、孩子抚养权变更条件

一般说来，对孩子的抚养权变更条件，只要父母双方达成一致意见，可以通过签订协议书或拿到法院的民事调解书变更孩子的抚养权。但是如果协议不成的，就只能去法院起诉变更孩子的抚养权，法院会依据以下的条件判决是否变更孩子的抚养权：第一，十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；第二，子女的抚养权判给一方，但子女实际上跟另一方共同生活的；第三，与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；第四，与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；第五，有其他正当理由需要变更的。