非法证据排除规则是一个舶来品，最早出现于20世纪初的美国，最初针对的是违反美国宪法第四修正案规定的违法搜查和扣押获取的实物证据，并将之视为非法证据，应当予以排除。后来在1966年，米兰达规则将非法证据的范围扩大到非法取得的言词证据。到目前为止，非法证据排除规则已经得到了联合国及世界上大多数国家的认可和接受，成为一条通行的国际司法准则。如联合国《禁止酷刑和其他残忍、不人道或有辱人格的待遇或处罚公约》第15条规定：每一缔约国应确保在任何诉讼程序中，不得援引任何业经确定系以酷刑取得的口供为证据，但这类口供可供用作被控施用酷刑者刑讯逼供的证据。

就我国来说，2010年之前，我国法律制度中基本上没有建立起非法证据排除制度。原《刑事诉讼法》第43条规定严禁刑讯逼供和以威胁、引诱、欺骗以及其他非法的方法收集证据，可见，原刑事诉讼法中只有严禁刑讯逼供等宣示性的口号，但是对于何谓非法证据，如何处置都没有规定。后来，在1998年，最高人民法院颁布了《关于执行〈中华人民共和国刑事诉讼法〉若干问题的解释》，该解释第61条规定，凡经查证确实属于采用刑讯逼供或者威胁、引诱、欺骗等非法的方法取得的证人证言、被害人陈述、被告人供述，不能作为定案的根据。同一年，最高人民检察院颁布了《人民检察院刑事诉讼规则》，该规则第265条规定，以刑讯逼供或者威胁、引诱、欺骗等非法的方法收集的犯罪嫌疑人供述、被害人陈述、证人证言，不能作为指控犯罪的根据。这两个司法解释首次对非法获取的口供进行了否定，但是其并没有规定相应的否定程序，缺乏应有的操作性。随着社会的发展，人民的法治意识和权利意识逐渐增强，尤其是程序必须合法的观念和保护犯罪嫌疑人权利的观念日渐深入人心。特别是近年来在司法实践中出现的佘祥林、聂树斌和赵作海等一批冤假错案，更加触动了人们敏感的神经。社会各界无不对侦查机关的刑讯逼供等非法取证行为深恶痛绝，专家学者们更是口诛笔伐，社会对建立非法证据排除规则的呼声空前高涨，人们希望该制度能够遏制刑讯逼供行为，规范侦查机关的侦查行为，保护犯罪嫌疑人的合法权益。正是在这种背景下，2010年，最高人民法院、最高人民检察院、公安部、司法部和国家安全部联合颁布了《关于办理刑事案件排除非法证据若干问题的规定》(以下称《非法证据排除规定》)和《死刑案件的证据规定》，《非法证据规定》首次明确了对非法言词证据应当予以排除，对非法证据的内涵和外延、非法证据排除的主体、程序、证明责任等都做出了较为系统的规定，具有一定的可操作性，具有里程碑的意义。新《刑事诉讼法》吸收了《非法证据排除规定》的主要内容，从立法上确立我国的非法证据排除制度。