刑事侦查人员回避的决定时间应当在当事人提出申请后的三天时间里就给出接受或者不接受的决定答复。

《民事百诉讼法》第四十八条【回避决定时间、决定形式和当事人复议权利】人民法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员，不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。

根据最高法院《解释》规定：

(1)被驳回回避申请的当事人及其法定代理人对决定有异议的，可以当庭申请复议一次；如果申请回避人当庭申请复议，合议庭应当宣布休庭，自我教育作出复议后，决定是否继续法庭审理。

(2)不属于《刑事诉讼法》第28条、第29条所列情形的回避申请，由法庭当庭驳回，并不得申请复议。

(3)被决定回避的人员对决定有异议的，可以在恢复庭审前申请复议一次。

根据公安内机关有关规定和最高检察院《规定》规定，当事人及其法定代理人对驳回回避申请的决定不服，有权在收到决定书后5日内向原决定机关申请复议一次，决定机关应当在3日内作出复议决定并书面通知申请人。在对公安机关负责人、侦查容人员的回避决定进行复议期间，不得停止对案件的侦查。

在不同的诉讼阶段，对不同的办案人员，决定其是否回避的人或者单位也各不相同。根据法律的规定，在案件的侦查阶段，当事人及其法定代理人申请侦查人员回避或者侦查人员自行提出回避的，由公安机关负责人决定；当事人及其法定代理人申请公安机关负责人回避或者公安机关负责人自行提出回避的，由同级人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审查起诉阶段，当事人及其法定代理人申请检察人员回避或者检察人员自行提出回避的，由人民检察院检察长决定；当事人及其法定代理人申请人民检察院检察长回避或者人民检察院检察长自行提出回避的，由人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审判阶段，当事人及其法定代理人申请审判人员回避或者审判人员自行提出回避的，由人民法院院长决定；当事人及其法定代理人申请人民法院院长回避或者人民法院院长自行提出回避的，由人民法院审判委员会讨论，按照多数人的意见决定。对公安机关负责人是否回避，之所以要由同级人民检察院检察委员会决定，这主要是因为公安机关属于行政机关，实行首长负责制，公安机关的各项工作都由其负责人决定和承担责任，是否回避如果由其本人决定，那么这一程序就成了形式。此外，实践中需要特别注意，书记员、翻译人员和鉴定人的回避，与审判人员的回避一样，应当由人民法院院长决定。