1、主观方面的区别：虐待罪的故意是行为人有意识地对被害人进行肉体摧残和精神折磨；遗弃罪的故意，即行为人明知自己应当履行扶养义务，也有实际履行扶养义务能力而拒绝扶养。

2、客观方面的区别：虐待罪的客观方面，表现为经常或连续折磨、摧残家庭成员身心健康的行为；遗弃罪的客观方面，表现为对没有独立生活能力的家庭成员，具有扶养义务而拒绝扶养的行为。

3、主体要件的区别：虐待罪的主体，必须是在一个家庭内部共同生活的成员；遗弃罪的主体，必须是对被遗弃者负有法律扶养义务而且具有履行义务能力的人。

4、客体要件的区别：虐待罪侵犯的客体是复杂客体，既侵犯共同生活的家庭成员在家庭生活中享有合法权益，也侵犯了被害人的身体健康；遗弃罪侵犯的客体，是家庭成员之间相互扶养的权利义务关系。

一、虐待罪的认定

根据立法规定和实践经验，可以从以下几个方面区分虐待罪与非罪的界限：

1、从情节是否恶劣来区分罪与非罪的界限。情节是否恶劣是区分罪与非罪的主要标志。根据本条规定，虐待家庭成员，只有情节恶劣的，才构成犯罪。虐待行为一般，情节较轻的，如一、两次的打骂，偶尔的不给饭吃、禁闭等，不应作为虐待罪论处。

虐待情节是否恶劣，应当根据以下几个方面来认定：

（1）虐待行为持续的时间。虐待时间的长短，在相当程度上决定对被害人身心损害的大小。虐待持续的时间长，比如几个月、几年，往往会造成被害人的身心受到较为严重的损害。相反，因家庭琐事出于一时气愤而对家庭成员实施了短时间的虐待行为，一般也不会造成什么严重后果。

（2）虐待行为的次数。虐待时间虽然不长，但行为次数频繁的，也容易使被害人的身心遭受难以忍受的痛苦，极易出现严重后果。例如，有的丈夫在妻子生女婴后的一个月内，先后毒打妻子10余次；有的儿女对因卧床不起的老人一次又一次地不给饭吃，一个月内就达20余次，等等。

（3）虐待的手段。实践中，有的虐待手段十分残忍，例如，丈夫在冬天把妻子的衣服扒光推出门外受冻；丈夫用烙铁、烟头等烫妻子的阴部、乳房；儿女惨无人道地毒打年迈的父母等。使用这些残忍手段，极易造成被害人伤残和死亡，应以情节恶劣论处。至于打耳光、拧耳朵等虐待行为，便不能认为是手段残忍，一般不能认定为情节恶劣。

（4）虐待的后果是否严重。虐待行为一般都会程度不同地给被害人造成精神上、肉体上的痛苦和损害，其中有的后果严重，例如，由于虐待行为人使被害人患了精神分裂症、妇科病或者其他病症；虐待行为致使被害人身体瘫痪、肢体伤残；将被害人虐待致死；被害人因不堪虐待而自杀等等。凡发生了上述严重后果的，都应以情节恶劣论处，

当然，判断是否情节恶劣，可以根据上述诸方面进行综合分析，也可以根据其中的一个方面加以分析认定，

2、从犯罪的对象来区分罪与非罪的界限。虐待罪是发生在家庭成员间的犯罪，行为人与被害人之间存在一定的亲属关系和扶养关系，如夫妻、父子、兄弟姐妹等。虐待非家庭成员的，不构成虐待罪（但如果因虐待行为直接给被害人造成严重后果，社会危害严重，构成其他犯罪的，可以按其他犯罪论处）。