1、违章建筑应该由城乡规划主管部门来认定。违章建筑不合乎法律规定，存在侵占安全通道、非法占用耕地、影响城市公共空间、破坏生态环境等特点，城乡规划主管部门一经查处必须拆除。

2、法律依据：

《国有土地上房屋征收与补偿条例》第二十四条，市、县级人民政府及其有关部门应当依法加强对建设活动的监督管理，对违反城乡规划进行建设的，依法予以处理。市、县级人民政府作出房屋征收决定前，应当组织有关部门依法对征收范围内未经登记的建筑进行调查、认定和处理。对认定为合法建筑和未超过批准期限的临时建筑的，应当给予补偿；对认定为违法建筑和超过批准期限的临时建筑的，不予补偿。

《城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

一、违章建筑的后果是什么

1、未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

2、在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

3、建设单位或者个人有下列行为之一的，由所在地城市、县人民政府城乡规划主管部门责令限期拆除，可以并处临时建设工程造价一倍以下的罚款：

(1)未经批准进行临时建设的；

(2)未按照批准内容进行临时建设的；

(3)临时建筑物、构筑物超过批准期限不拆除的。

4、城乡规划主管部门作出责令停止建设或者限期拆除的决定后，当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。

二、房子违章建筑被强拆了怎么办

房子是违章建筑被违法强拆了的话，首先要看对方有没有政府或者法院的拆迁许可证明，如果没有的话就是违法行为可以要求对方赔偿，因为就算是违章建筑，也需要有关部门认定之后才能拆除。