两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；有抚养条件不尽抚养义务，而父方要求子女随其生活的；因其他原因，子女确无法随母方生活的。

父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。

对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：已做绝育手术或因其他原因丧失生育能力的；子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；无其他子女，而另一方有其他子女的；子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。

父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。

一、法律规定变更抚养权的条件是哪些

变更抚养权的条件是：与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的。十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的。有其他正当理由需要变更的。父母双方协议变更子女抚养关系的，应予准许。

二、孩子抚养权法律规定

我国《民法典》第一千零八十四条【离婚后的父母子女关系】父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。

离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。

离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。

《民法典》第一千零八十五条【离婚后子女抚养费的负担】离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。

前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。

综上所述，孩子抚养权的归属跟男方是否出轨并没有什么关系，法院判决孩子的抚养权不是看男方是否出轨，而是看孩子的年龄、孩子的成长环境、夫妻双方的经济实力等方面，综合这些因素来作出判决。