违章建筑的认定是由县级以上人民政府土地行政主管部门负责的，现实情况中一般是由住建部门和市政管理部门负责的。

具体依据《中华人民共和国土地管理法》规定如下：第七十四条违反本法规定，占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等，破坏种植条件的，或者因开发土地造成土地荒漠化、盐渍化的，由县级以上人民政府土地行政主管部门责令限期改正或者治理，可以并处罚款；构成犯罪的，依法追究刑事责任。

第八十三条依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。

一、拆除违章建筑的法律依据

《中华人民共和国行政强制法》第四十四条规定了“对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告、限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。”

根据《中华人民共和国土地管理法》第七十六条规定：“未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施……”

第七十七条第一款规定：“农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋”。

第八十三条规定：“依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。”

二、违章建筑拆除赔偿标准

违章建筑是指未取得拟建工程规划许可证（原址、选址建房意见书），在规划区以外建设，违反《土地管理法》、《城乡规划法》、《村庄和集镇规划建设管理条例》等相关法律法规的规定动工建造的房屋及设施。根据我国法律的规定，违章建筑属于没有任何批文或证件的建筑，如果这些违章建筑没有被有关部门执行过强拆，那么在进行过拆除之后，有关部门会根据当地的房价以及物价水平，进行评估，之后做出相应的补偿；但如果有关部门进行强制拆除，之后是不进行任何经济补偿的。还有一种情况是，当地农村的房子存在违章现象。对于这种情况来说，我国政府为了维护广大人民群众的利益，政府是会进行一定额度的补偿的。这些房屋的补偿标准一般按照当地有证件的房屋补偿价格进行补偿。如果当地农村没有，不存在有证件的房屋，那么在进行违章建筑拆除之后，我们可以根据有关部门对当地的物价水平作出的评估，来设立一个补偿标准，进行补偿。