违法建设免予行政处罚的条件具体如下：

1、不满十四周岁的人有该违法行为的；

2、精神病人在不能辨认或不能控制自己行为时有该违法行为的；

3、该违法行为在两年内未被发现的。

相关法律规定：《行政处罚法》

第二十七条违法行为轻微并及时纠正，没有造成危害后果的，不予行政处罚。

第二十五条不满十四周岁的人有违法行为的，不予行政处罚，责令监护人加以管教；已满十四周岁不满十八周岁的人有违法行为的，从轻或者减轻行政处罚。

第二十六条精神病人在不能辨认或者不能控制自己行为时有违法行为的，不予行政处罚，但应当责令其监护人严加看管和治疗。间歇性精神病人在精神正常时有违法行为的，应当给予行政处罚。

第三十八条第二项违法行为轻微，依法可以不予行政处罚的，不予行政处罚。

一、行政处罚的实施机关

(一)行政机关实施行政处罚

行政处罚由具有行政处罚权的行政机关在法定职权范围内实施，没有行政处罚权的行政机关或其他组织一般不能实施行政处罚。国务院或者经国务院授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关的行政处罚权，但限制人身自由的行政处罚权只能由公安机关行使。

享有行政处罚权、能够实施行政处罚的机关应具备以下条件：

1、必须是行政机关。

2、必须具有外部管理职能。

3、必须取得特定的行政处罚权。

4、必须在法定的职权范围内实施。

(二)授权实施行政处罚

法律、法规授权的具有管理公共事务职能的组织，可以在法定授权范围内实施行政处罚。法律、法规授权的组织若不具有管理公共事务的职能，则不能实施行政处罚。

(三)委托实施行政处罚

1、根据《行政处罚法》规定，受委托的组织必须在授权范围内，以委托行政机关名义实施行政处罚，不能再委托其他任何组织或个人实施行政处罚。

2、委托行政机关对受委托的组织实施行政处罚的行为负责监督，并对该组织实施行政处罚行为的后果承担法律责任。

3、根据《行政处罚法》第十九条的规定，能够接受行政委托、依法行使行政处罚的组织必须符合以下条件：

（1）依法成立的管理公共事务的事业组织；

（2）具有熟悉有关法律、法规、规章和业务的工作人员；

（3）对违法行为需要进行技术检查或技术鉴定的，应当由有条件的组织进行相应技术检查或者技术鉴定。