对于规则的制定者来说，笼统地宣布严禁非法取证并排除所有非法证据是最简单最容易的做法，但这是不切实际的，也是很难实施的，因此往往会沦为一句空话。要想使非法证据排除规则符合司法实践的情况并具有可操作性，就要在处理那些违法不太严重或性质不很恶劣的非法证据时给与司法人员一定的自由裁量权。因此，应当把“区别对待”作为确立我国非法证据排除规则的基本思路，但是规则应该尽量具体明确，而且要有切实的保障措施。
在修改刑事诉讼法的时候把非法证据明确区分为两类：第一类是法定绝对排除的非法证据，包括采用刑讯方法获得的被告人口供和证人证言；第二类是自由裁量排除的非法证据，包括主体不符合法律规定的证据，形式不符合法律规定的证据，违反法律规定程序获得的实物证据，采用变相刑讯或者威胁、引诱、欺骗等非法方法获得的言词证据，以及通过非法言词证据获得的实物证据——即所谓的“毒树之果”。
对于第一种非法证据，只要司法人员在具体案件中认定有刑讯逼供，就一律进行排除，绝对不允许其进入刑事诉讼的大门。当然，如何在具体案件中把握“认定有刑讯逼供”的标准也不是一个简单的问题，但本文不做讨论。对于第二种非法证据，司法人员在查明有上述情况时，还要根据案件和证据的具体情况来决定是否应该排除。司法人员需要考量的具体因素包括：取证人员违法的严重程度；非法取证之侵权的严重程度；取证人员调查之犯罪案件本身的性质及严重程度；需要排除之证据的证明价值；违法获取证据之人员的主观状态；违法取证行为对司法公正的影响；违法取证行为对司法环境的影响；违法取证行为对公共利益的影响等。司法人员在作出是否排除的决定时应该说明具体的理由。
假如我们可以把上述内容作为我国法律所规定的非法证据排除规则，那么这些规则是否具有了足够的具体明确性呢？众所周知，刑事案件的情况是复杂多样的，非法证据的情况也是复杂多样的，虽然笔者列出了这些可谓“相当具体”的自由裁量因素，但是司法人员在面对具体案件中的非法证据时可能仍然会感到难以把握。另外，不同的司法人员面对相似的非法证据情况时也可能作出不同的裁判，即人们所说的“同案不同判”。那么，我们是否可以把规则制定得更加具体明确呢？例如，我们是否可以一一列举出构成“严重违法”和“严重侵权”的具体情况？笔者以为，即使有诸多专家学者的帮助，规则制定者恐怕也难以完成如此复杂且精准的任务。那么，我们是否可以索性任由司法人员去自由裁量，完全依赖于他们个人的专业能力和道德修养呢？笔者以为不可，因为这会破坏司法裁判所应具有的一致性和规范性——特别是在当下的中国。这似乎是一个两难的处境。如何解脱？笔者以为，判例可以帮助我们走出这一困境。
