在不同的诉讼阶段，对不同的办案人员，决定其是否回避的人或者单位也各不相同。根据法律的规定，在案件的侦查阶段，当事人及其法定代理人申请侦查人员回避或者侦查人员自行提出回避的，由公安机关负责人决定;当事人及其法定代理人申请公安机关负责人回避或者公安机关负责人自行提出回避的，由同级人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审查起诉阶段，当事人及其法定代理人申请检察人员回避或者检察人员自行提出回避的，由人民检察院检察长决定;当事人及其法定代理人申请人民检察院检察长回避或者人民检察院检察长自行提出回避的，由人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审判阶段，当事人及其法定代理人申请审判人员回避或者审判人员自行提出回避的，由人民法院院长决定;当事人及其法定代理人申请人民法院院长回避或者人民法院院长自行提出回避的，由人民法院审判委员会讨论，按照多数人的意见决定。对公安机关负责人是否回避，之所以要由同级人民检察院检察委员会决定，这主要是因为公安机关属于行政机关，实行首长负责制，公安机关的各项工作都由其负责人决定和承担责任，是否回避如果由其本人决定，那么这一程序就成了形式。此外，实践中需要特别注意，书记员、翻译人员和鉴定人的回避，与审判人员的回避一样，应当由人民法院院长决定。刑事诉讼法修改后，对一些刑事案件的审理，曾经发生过一些地方的人民法院审判长或者合议庭直接就作出书记员、翻译人员和鉴定人员的回避决定的情况。出现这种偏差的主要原因是，一些审判人员认为书记员、翻译人员和鉴定人员不是合议庭的组成人员，他们的回避不是什么重要的原则问题，规定由人民法院院长来决定，程序过于繁琐，会影响法庭审理正常、及时地进行。这种做法是不符合法律规定的。书记员、翻译人员和鉴定人员的回避也直接关系到案件的审理结果，也可能影响案件的公正审理。因此，书记员、翻译人员、鉴定人员的回避，直接关系到案件能否公正办理，意义重大，必须严格依照法律规定进行。对于书记员、翻译人员和鉴定人员的回避，不论是决定回避还是不回避，都只能由人民法院院长决定，而不能由审判长或者合议庭直接决定。

从当事人及其法定代理人提出回避申请或者办案人员自行提出回避，到作出该办案人员是否应当回避的决定，中间要经过一段时间。在这期间，除侦查人员外，其他办案人员在当事人及其法定代理人提出回避申请或者自行提出回避后应当立即停止继续办理案件，等待决定作出后再作处理。但侦查人员在回避作出决定前，不能停止对案件的侦查。也就是说，即使当事人及其法定代理人认为某侦查人员与案件有利害关系而提出回避申请，在作出该侦查人员回避的决定前，该侦查人员还要继续办理案件，不能停止对案件的侦查活动。之所以这样，主要是为了保证侦查活动的顺利进行，防止犯罪嫌疑人逃跑和证据灭失，这是符合侦查活动特点和办理刑事案件需要的。