我国第四条规定：“行政处罚遵循公正、公开的原则。设定和实施行政处罚必须以事实为依据，与违法行为的事实、性质、情节以及社会危害程度相当。”对违章建筑的认定应同时考虑实体法和程序法的规定。(一)关于实体法依据实体法和程序法是根据法的内容进行划分的结果，法律对人们行为的调整是通过设定权利和义务来实现的，权利和义务是法律的内容，以实体权利和义务为内容的法律是实体法，以程序权利和义务为内容的法律是程序法。从实体法看，目前各级地方政府部门界定违章建筑的主要法律依据是城乡规划法和土地管理法。从属性上看，建筑物必须以土地为依托，离开了土地，建筑物不可能存在，依靠土地管理法加强土地用途的管制可以有效地限制违章建筑;从违章问题严重程度看，城市的违章建筑确实要比其他地方违章建筑突出，依照城乡规划法可以处理大部分违章建筑。但仅仅依据城乡规划法和土地管理法两部法律所界定的违章建筑，适用范围较窄，事实上，我国法律对违章建筑的限制很多，范围也很广。为了合理开发利用和保护水资源，防治水害，水法第二十四条规定：“未经有关主管部门批准，不得在河床、河滩内修建建筑物”;为了加强公路的建设和管理，促进公路事业的发展，公路法第五十六条规定：“禁止在公路两侧的建筑控制区内建建筑物和地面构筑物”。还有，铁路法第四十六条、民用航空法第五十八条、文物保护法第十一条、第十八条、港口法第四十五条、防洪法第二十七条等实体法条款，分别从不同角度对相关建筑物、构筑物的建设作出了限制性规定，有关职能部门在界定违章建筑时，必须充分考虑上述实体法。(二)关于程序法依据程序法是实现实体法目的的手段和方法，程序法、实体法一样具有“独立的价值”。法定的建造程序是加强建筑管理的重要手段，其目的是限制、引导建筑符合城乡建设规划。因此，界定违章建筑还应结合有关建筑建造程序方面的法律规定。目前，我国有关建筑的建造程序的规定，包括建筑法、城乡规划法及国务院颁布的村庄和集镇规划建设管理条例、建设部颁布的建制镇规划建设管理办法等法律、法规、规章。其中城乡规划法第三十七条第一款规定：“在城市、镇规划区内以划拨方式提供国有土地使用权的建设项目，经有关部门批准、核准、备案后，建设单位应当向城市、县人民政府城乡规划主管部门提出建设用地规划许可申请，由城市、县人民政府城乡规划主管部门依据控制性详细规划核定建设用地的位置、面积、允许建设的范围，核发建设用地规划许可证”。第三十八条第一款规定：“在城市、镇规划区内以出让方式提供国有土地使用权的，在国有土地使用权出让前，城市、县人民政府城乡规划主管部门应当依据控制性详细规划，提出出让地块的位置、使用性质、开发强度等规划条件，作为国有土地使用权出让合同的组成部分。未确定规划条件的地块，不得出让国有土地使用权”。

第二款规定：“以出让方式取得国有土地使用权的建设项目，在签订国有土地使用权出让合同后，建设单位应当持建设项目的批准、核准、备案文件和国有土地使用权出让合同，向城市、县人民政府城乡规划主管部门领取建设用地规划许可证”。第三十九条规定：“规划条件未纳入国有土地使用权出让合同的，该国有土地使用权出让合同无效;对未取得建设用地规划许可证的建设单位批准用地的，由县级以上人民政府撤销有关批准文件;占用土地的，应当及时退回;给当事人造成损失的，应当依法给予赔偿”。第四十条第一款规定：“在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证。”第三款规定：“申请办理建设工程规划许可证，应当提交使用土地的有关证明文件、建设工程设计方案等材料。需要建设单位编制修建性详细规划的建设项目，还应当提交修建性详细规划。对符合控制性详细规划和规划条件的，由城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府核发建设工程规划许可证”。第三款规定“城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府应当依法将经审定的修”建性详细规划、建设工程设计方案的总平面图予以公布。”城镇、农村中的建筑，只要在先经过了违章认定，确认属于违章建筑的才能作出进一步的处罚。包括对违章建筑人进行处罚、拆除违章建筑物。