行政处罚决定书出错的纠正方式是如果是小瑕疵、笔误，可以向作出该处罚决定的行政机关申请更正；如果是严重的程序错误或实质性内容错误，可以依法提起行政复议或行政诉讼。

一、行政复议和行政诉讼区别

二者的区别：

1、审理机关不同。行政复议是由作出具体行政行为的行政机关的上级行政机关审理，而行政诉讼则是由作出具体行政行为的行政机关所在地的人民法院审理。

2、法律依据不同。行政复议依据的是《行政复议法》及《行政复议法实施条例》，而行政诉讼则是依据《行政诉讼法》。

3、程序不同。行政复议只有一级，即行政复议决定作出后行政复议程序即终止，对行政复议决定不服只能依法向人民法院提起行政诉讼。而行政诉讼则对一审法院作出判决不服还可向上级法院提起上诉。在审理过程中，行政复议一般是书面审，只有在必要时，才可举行听证或当面听取有关人员意见。而行政诉讼除特殊案件外，一般均可公开审理，且具有交换证据、法庭调查、质证、辩论等程序。

行政复议实行行政首长负责制，即行政复议结论的决定权由行政机关层级审批，行政首长最终决定。而行政诉讼实行合议制。

4、结案方式不同。行政复议可以由行政机关为申请人和被申请人调解，申请人与本申请人也可自愿达成和解，而行政诉讼不适用调解。

5、审理的内容不同。行政复议既要审查具体行政行为的合法性，也要审查其适当性，并可依法作出复议决定。而行政诉讼原则上只审查具体行政行为的合法性，虽也对适当性进行审查，但一般不就行政机关的具体行政行为的适当性作出裁决。

6、行政复议不收费，行政诉讼收费。

二、行政复议决定如何撤销

行政复议机关进行复议后，如果认为行政行为错误的，可以作出撤销行政行为的决定。当事人对撤销复议决定不服的，可以提起行政诉讼，请求撤销行政复议决定。

《中华人民共和国行政复议法》

第二十八条行政复议机关负责法制工作的机构应当对被申请人作出的具体行政行为进行审查，提出意见，经行政复议机关的负责人同意或者集体讨论通过后，按照下列规定作出行政复议决定：

(一)具体行政行为认定事实清楚，证据确凿，适用依据正确，程序合法，内容适当的，决定维持；

(二)被申请人不履行法定职责的，决定其在一定期限内履行；

(三)具体行政行为有下列情形之一的，决定撤销、变更或者确认该具体行政行为违法；决定撤销或者确认该具体行政行为违法的，可以责令被申请人在一定期限内重新作出具体行政行为：

1.主要事实不清、证据不足的；

2.适用依据错误的；

3.违反法定程序的；

4.超越或者滥用职权的；

5.具体行政行为明显不当的。

(四)被申请人不按照本法第二十三条的规定提出书面答复、提交当初作出具体行政行为的证据、依据和其他有关材料的，视为该具体行政行为没有证据、依据，决定撤销该具体行政行为。

行政复议机关责令被申请人重新作出具体行政行为的，被申请人不得以同一的事实和理由作出与原具体行政行为相同或者基本相同的具体行政行为。

《中华人民共和国行政诉讼法》

第四十四条对属于人民法院受案范围的行政案件，公民、法人或者其他组织可以先向行政机关申请复议，对复议决定不服的，再向人民法院提起诉讼；也可以直接向人民法院提起诉讼。

法律、法规规定应当先向行政机关申请复议，对复议决定不服再向人民法院提起诉讼的，依照法律、法规的规定。