非法证据是非法证据排除制度的基础概念，根据美国的《布莱克法律词典》对非法证据的定义：侵犯被告人权利所取得的证据，原因是警察没有逮捕令状或者可能的理由而执行逮捕，或者是令状有缺陷且不存在有效理由而进行无证扣押。[1]，可见美国对于非法证据的范围主要是指取得的程序不合法而取得的证据。而我国的新《刑事诉讼法》中并没有关于非法证据的概念的规定，只是在第54条中规定：采用刑讯逼供等非法方法收集的犯罪嫌疑人、被告人供述和采用暴力、威胁等非法方法收集的证人证言、被害人陈述，应当予以排除。收集物证、书证不符合法定程序，可能严重影响司法公正的，应当予以补正或者作出合理解释；不能补正或者作出合理解释的，对该证据应当予以排除，该条文中并没有关于非法证据的概念表述。在我国理论界，对于非法证据的定义也众说纷纭，广义理解上的非法证据包括取证的主体、证据的内容和形式、取证程序、取证的方法和手段等不合法的证据。狭义上理解的非法证据仅仅指侦查人员违反法定程序或者采用非法方法和手段取得的证据。还有学者认为，从证据的可采性角度应将证据分为三类：合法证据、瑕疵证据和无证据能力的证据。合法证据为完全符合法定要件、具有证据能力和可采信的证据。瑕疵证据是指因自身之瑕疵，证据能力处于效力待定的状态，经补证与合理解释后具有证据能力之证据。无证据能力的证据包括取证程序和手段严重违法的非法证据和其他严重违法欠缺法定要素的不具有证据能力的证据。[2]

从新《刑事诉讼法》表述来看，我国法律中所指的非法证据主要是指狭义上的概念，即侦查人员违反法定程序或者采用非法方法获取的证据。但是针对刑讯逼供的理解在认识上仍然存在分歧，根据新华词典的解释，刑讯逼供是指司法工作人员采用肉刑或变相肉刑折磨被讯问人的肉体或精神，以获取其供述的一种极恶劣的审讯方法。但是在一般民众和多数侦查人员的观念中，刑讯逼供主要是指采用殴打等暴力方法获取口供的行为，所以在司法实践中，对于那些采取变相肉体折磨或者精神折磨的方式，一般不认为是刑讯逼供，如让犯罪嫌疑人或者被告人挨饿、受冻、烤(用强光照射)、熬等方式获取的口供一度较为普遍，甚至有的侦查人员认为，这是对犯罪嫌疑人施加压力的正常手段。新的刑事诉讼法中明确规定，采用刑讯逼供等非法方法收集的犯罪嫌疑人、被告人供述应当予以排除。那么这里所指的非法方法是否包括那些变相刑讯逼供的方法呢?笔者认为，这里非法方法应当指那些严重侵犯犯罪嫌疑人、被告人人权的变相刑讯逼供行为，但是范围也不能过大，应当参考《联合国禁止酷刑公约》的规定，禁止以酷刑的方式获得口供，酷刑是指蓄意使某人在肉体或精神上遭受剧烈疼痛或痛苦的任何行为，把通常理解的刑讯逼供以外的凡是使犯罪嫌疑人、被告人在肉体上或精神上遭受剧烈痛苦的非人道行为都纳入进来。对于那些轻微违反法定程序取得的口供，笔者同意陈瑞华学者的观点，那种侦查人员在制作证据笔录时具有的技术性缺陷的瑕疵证据，不应纳入到非法证据的范畴，而是可以通过补正和合理解释等方式消除瑕疵。这些证据主要包括：证据笔录记录错误、遗漏了重要内容、缺少有关人员的签名和盖章以及一些技术性手续的违规等。[3]此外，对于那些采用暴力、威胁等非法方法获取的证人证言和被害人陈述，新刑诉法也规定予以排除，但是该条文没有规定取证的主体是侦查机关还是其他辩护人，容易引起歧义。笔者认为，就非法证据排除规则设立的初衷，主要是通过这种程序性制裁的方式规范侦查机关的司法行为，似乎对于辩护人通过非法方法获取证人或者被害人口供的并不进行规制，对于辩护人非法方法采取的口供完全可以通过证人出庭作证的形式由法官对之不予采信即可。对于侦查机关非法收集物证、书证的情形，法律规定了可以通过补正或者作出合理解释进行消除违法情形后予以采用，但是何谓严重影响司法公正，这是一个弹性极大的规定，不同的司法机关、不同的人可能会有不同的认识，该条款在实践中适用的可操作性不强，更多的人会认为物证和书证不像口供那样主观性较强，其本身具有客观性和不易变动性，司法机关一般不会进行排除。