既然是证据促使行政机关确信曾经发生过违法事实，从而作出了处罚决定，行政机关的这种确信就应当有个标准，即在法律上可以被接受的最低的限度，否则，行政机关根据证据认定事实成为一种任性的行为，法律适用的公正性目标就无法实现;不仅如此，如果缺乏这个限度，司法对行政处罚的审查也就没有统一的尺度，法官对行政机关的确信的评价也将成为任性的行为，这样会造成法制不统一的现象。所以，无论是行政执法还是司法审查，在客观上都要求法律对这个限度进行确定。而法律的目的之一，也正是要通过设计各种规则尽量地去排除可能出现的任性。

在证据学上，这个限度称为证明标准。证明标准要解决的问题是证据到什么程度时，才能认定待证事实。具体到行政处罚中，证明标准就是证据达到行政机关对待证事实进行认定的最低(必要)限度。也就是说，当用来证明一个待证事实的证据达到这个限度或者要求时，这个待证事实在法律上就视为真实存在。在法律上视为真实存在，就意味着行政处罚的证明标准应当与行政复议、行政诉讼中审查具体行政行为时的复议机关、法院采用的证明标准相同。如果行政复议和行政诉讼中采用的证明标准与行政处罚的证明标准不同，那么行政处罚的证明标准对行政机关来说是没有什么意义的——行政诉讼对行政处罚合法性的判断对行政机关来说具有最终性，对行政机关来说，行政处罚必须要能够经受起法院的审查，才是行政机关所追求的有意义的“合法性”。所以行政处罚证明标准同时也是行政复议、行政诉讼中对行政处罚进行审查的证明标准。

证明标准作为一种带有主观色彩的东西，能否被法律尤其是成文法所确定呢?答案应当是肯定的。它虽然是无形的，存在于人们内心中的东西，但同时也是客观存在的，因为运用证据对案件事实加以证明的过程是人有目的的认识过程，这种认识过程是有规律的，人们完全可以通过经验积累和理论分析来把握它。法律完全可以对之作出确定。实际上，无论对待证明标准理论的态度如何，法律中是否明确规定，证明标准这一尺度还是在认定事实过程中起着决定性的作用。