一、受贿人把钱退给行贿人算自首吗

依据相关司法解释的规定，国家机关工人人员收受财物后退还或者上交的，不属于受贿的行为，案发后再退还的不属于自首的表现。

《最高人民法院、最高人民检察院关于办理受贿刑事案件适用法律若干问题的意见》

九、关于收受财物后退还或者上交问题

国家工作人员收受请托人财物后及时退还或者上交的，不是受贿。

国家工作人员受贿后，因自身或者与其受贿有关联的人、事被查处，为掩饰犯罪而退还或者上交的，不影响认定受贿罪。

《中华人民共和国刑法》

第六十七条自首犯罪以后自动投案，如实供述自己的罪行的，是自首。对于自首的犯罪分子，可以从轻或者减轻处罚。其中，犯罪较轻的，可以免除处罚。

被采取强制措施的犯罪嫌疑人、被告人和正在服刑的罪犯，如实供述司法机关还未掌握的本人其他罪行的，以自首论。

犯罪嫌疑人虽不具有前两款规定的自首情节，但是如实供述自己罪行的，可以从轻处罚;因其如实供述自己罪行，避免特别严重后果发生的，可以减轻处罚。

二、立法解释

全国人民代表大会常务委员会《关于(中华人民共和国刑法)第九十三条第二款的解释》(2000.4.29)

全国人民代表大会常务委员会讨论了村民委员会等村基层组织人员在从事哪些工作时属于刑法第九十三条第二款规定的“其他依照法律从事公务的人员”，解释如下：

村民委员会等村基层组织人员协助人民政府从事下列行政管理工作，属于刑法第九十三条第二款规定的“其他依照法律从事公务

(一)救灾抢险防汛、优抚、扶贫、移民、救济款物的管理;

(二)社会捐助公益事业款物的管理;

(三)国有土地的经营和管理;

(四)土地征用补偿费用的管理;

(五)代征、代缴税款;

(六)有关计划生育、户籍、征兵工作;

(七)协助人民政府从事的其他行政管理工作。村民委员会等村基层组织人员从事前款规定的公务，利用职务上的便得，非法占有公共财物、挪用公款、索取他人财物或者非法收受他人财物，构成犯罪的，适用刑法第三百八十二条和第三百八十三条贪污罪、第三百八十四条挪用公款罪、第三百八十五条和第三百八十六条受贿罪的规定。现予公告。

这类受贿人员，违法收受相关行贿人员的财物和财产，据为己有。我国的法律规定，对这类违法人员进行处罚。维护我国的国有财产和国家利益，公民合法利益进行维护，对这类违法人员进行处罚办理，维护我国的政府清正廉洁。