按实际情况，如果父亲去世，孩子抚养权就归母亲。如果母亲去世，就归父亲。如果双方都去世，有负担能力的祖父母、外祖父母，对于父母已经死亡或父母无力抚养的未成年的孙子女、外孙子女，可以主张对孙子女的抚养权。另外，有负担能力的兄、姐，对于父母已经死亡或父母无力抚养的未成年的弟、妹，也可以主张自己的扶养义务。

非婚生子该由谁来抚养？

一般两周岁以下的孩子由孩子母亲抚养的，两周岁以上的孩子归谁抚养，应由两方进行协商，协商不成的，可以到法院起诉，由法院依据有利于孩子成长的原则进行判决。

非婚生子与婚生子有同等的法律地位，在抚养方面和婚生子女是一样的。

1、两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：

（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；

（2）有抚养条件不尽抚养义务，而父方要求子女随其生活的；

（3）因其他原因，子女确无法随母方生活的。

2、父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。

3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：

（1）已做绝育手术或因其他原因丧失生育能力的；

（2）无其他子女，而另一方有其他子女的；

4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。

5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。

6、在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。

7、一方要求变更子女抚养关系有下列情形之一的，应予支持。

8、父母双方协议变更子女抚养关系的，应予准许。

《中华人民共和国民法典》

第二十七条父母是未成年子女的监护人。

未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：

（一）祖父母、外祖父母；

（二）兄、姐；

（三）其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。

第二十八条无民事行为能力或者限制民事行为能力的成年人，由下列有监护能力的人按顺序担任监护人：