行政机关作出行政处罚决定决定后，如果想撤销行政处罚决定，应该向行政处罚相对人出具撤销行政处罚决定书。行政行为撤销的条件：

(1)行政行为合法要件缺损。合法的行政行为具备主体合法、内容合法、程序合法三要素，任何行政行为如缺损其中一个或一个以上要件，该行政行为就是可撤销的行政行为。

(2)行政行为不适当。不适当的行政行为也是可撤销的行政行为。所谓“不适当”，是指相应行政行为不合理、不公正、不符合现行政策、不合时宜、不符合有关善良风俗等情形。

《中华人民共和国行政处罚法》第七十六条规定，行政机关实施行政处罚，有下列情形之一，由上级行政机关或者有关机关责令改正，对直接负责的主管人员和其他直接责任人员依法给予处分：

(一)没有法定的行政处罚依据的;

(二)擅自改变行政处罚种类、幅度的;

(三)违反法定的行政处罚程序的;

(四)违反本法第二十条关于委托处罚的规定的;

(五)执法人员未取得执法证件的。

行政机关对符合立案标准的案件不及时立案的，依照前款规定予以处理。

行政处罚是指行政主体依照法定职权和程序对违反行政法规范，尚未构成犯罪的相对人给予行政制裁的具体行政行为。行政处罚特征是:实施行政处罚的主体是作为行政主体的行政机关和法律法规授权的组织;行政处罚的对象是实施了违反行政法律规范行为的公民、法人或其他组织;行政处罚的性质是一种以惩戒违法为目的、具有制裁性的具体行政行为。

1.行政处罚是以对违法行为人的惩戒为目的，而不是以实现义务为目的。这一点将它与行政强制执行区别开来。行政强制执行的目的在于促使义务人履行义务。

2.行政处罚的适用主体是行政机关或法律、法规授权的组织。这一点使它与刑罚区别开来。刑罚的适用主体是人民法院。

行政处罚与刑罚的区别：制裁的性质不同;适用的违法行为不同;惩罚程度及适用的程序不同;制裁机关不同;处罚形式不同。

3.行政处罚的适用对象是作为行政相对方的公民、法人或其他组织，属于外部行政行为。这一点将它与行政处分区别开来。行政处分只能适用于行政机关的工作人员或其他由行政机关任命或管理的人员。

行政处罚与行政处分的区别：制裁的对象不同;制裁的行为性质不同;制裁的原则不同;惩罚的范围和程度不同;采取的形式不同;两者的救济途径不同。

4.行政处罚的前提是行政相对方实施了违反法律规范的行为，而非违反了刑法、民法等其它法律规范的行为。