我国行政处罚法第四条规定：行政处罚遵循公正、公开的原则。设定和实施行政处罚必须以事实为依据，与违法行为的事实、性质、情节以及社会危害程度相当。对违章建筑的认定应同时考虑实体法和程序法的规定。

1、关于实体法依据

实体法和程序法是根据法的内容进行划分的结果，法律对人们行为的调整是通过设定权利和义务来实现的，权利和义务是法律的内容，以实体权利和义务为内容的法律是实体法，以程序权利和义务为内容的法律是程序法。

从实体法看，目前各级地方政府部门界定违章建筑的主要法律依据是城乡规划法和土地管理法。从属性上看，建筑物必须以土地为依托，离开了土地，建筑物不可能存在，依靠土地管理法加强土地用途的管制可以有效地限制违章建筑；从违章问题严重程度看，城市的违章建筑确实要比其他地方违章建筑突出，依照城乡规划法可以处理大部分违章建筑。但仅仅依据城乡规划法和土地管理法两部法律所界定的违章建筑，适用范围较窄，事实上，我国法律对违章建筑的限制很多，范围也很广。

为了合理开发利用和保护水资源，防治水害，水法第二十四条规定：未经有关主管部门批准，不得在河床、河滩内修建建筑物；为了加强公路的建设和管理，促进公路事业的发展，公路法第五十六条规定：禁止在公路两侧的建筑控制区内建建筑物和地面构筑物。还有，铁路法第四十六条、民用航空法第五十八条、文物保护法第十一条、环境保护法第十八条、港口法第四十五条、防洪法第二十七条等实体法条款，分别从不同角度对相关建筑物、构筑物的建设作出了限制性规定，有关职能部门在界定违章建筑时，必须充分考虑上述实体法。

2、关于程序法依据

程序法是实现实体法目的的手段和方法，程序法、实体法一样具有独立的价值。法定的建造程序是加强建筑管理的重要手段，其目的是限制、引导建筑符合城乡建设规划。因此，界定违章建筑还应结合有关建筑建造程序方面的法律规定。

目前，我国有关建筑的建造程序的规定，包括建筑法、城乡规划法及国务院颁布的村庄和集镇规划建设管理条例、建设部颁布的建制镇规划建设管理办法等法律、法规、规章。其中《城乡规划法》第三十七条第一款规定：在城市、镇规划区内以划拨方式提供国有土地使用权的建设项目，经有关部门批准、核准、备案后，建设单位应当向城市、县人民政府城乡规划主管部门提出建设用地规划许可申请，由城市、县人民政府城乡规划主管部门依据控制性详细规划核定建设用地的位置、面积、允许建设的范围，核发建设用地规划许可证。

法律依据：

《行政强制法》第四十四条：对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。

违章建筑怎么认定？

1、未取得建设工程规划许可证或者虽取得建设工程规划许可证，但未按批准范围、内容施工的。

2、自建房，即在现有房屋四周、院落、屋顶、阳台自建建筑物。

3、未经批准在包括承包地、宅基地在内的集体土地上新建、修建和扩建的建筑物、构筑物，且该集体土地使用权系通过农民私自转让取得。

4、占有国有土地和在农村非法占有集体土地新建、修建和扩建的建筑物、构筑物。

5、未经批准占用过道、马路边、公共绿地内、过道、人行道等搭建的固定亭棚、房屋等。

6、在拆迁征收范围确定后实施新建、扩建、改建的建筑物、构筑物。