这个问题涉及“相邻权”的问题，最好请当地村委会出出面调解，达成可行协议。如果你建房对他造成妨碍(法律保护的相邻权)，他的阻扰是合法的。不管怎么样，对方都不构成寻衅滋事，除非无理取闹。

那么什么是“相邻权”呢？相邻权指不动产的所有人或使用人在处理相邻关系时所享有的权利。具体来说，在相互毗邻的不动产的所有人或者使用人之间，任何一方为了合理行使其所有权或使用权，享有要求其他相邻方提供便利或是接受一定限制的权利。相邻权的界定有其深刻的道德价值；其实质上是对所有权的限制和延伸。相邻权是从属于相邻土地的一种权利，事实状态的存在决定了权利的归属。相邻不动产的所有人或使用人在行使自己的所有权或使用权时，应当以不损害其他相邻人的合法权益为原则。如果因权利的行使，给相邻人的人身或财产造成危害的，相邻人有权要求停止侵害、消除危险和赔偿损失。

《民法典》第二百八十八条【处理相邻关系的原则】不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。

第二百八十九条【处理相邻关系的法律依据】法律、法规对处理相邻关系有规定的，依照其规定；法律、法规没有规定的，可以按照当地习惯。

第二百九十条【用水、排水相邻关系】不动产权利人应当为相邻权利人用水、排水提供必要的便利。

对自然流水的利用，应当在不动产的相邻权利人之间合理分配。对自然流水的排放，应当尊重自然流向。

第二百九十一条【通行相邻关系】不动产权利人对相邻权利人因通行等必须利用其土地的，应当提供必要的便利。

第二百九十二条【相邻土地的利用】不动产权利人因建造、修缮建筑物以及铺设电线、电缆、水管、暖气和燃气管线等必须利用相邻土地、建筑物的，该土地、建筑物的权利人应当提供必要的便利。

第二百九十三条【相邻通风、采光和日照】建造建筑物，不得违反国家有关工程建设标准，不得妨碍相邻建筑物的通风、采光和日照。

第二百九十四条【相邻不动产之间不可量物侵害】不动产权利人不得违反国家规定弃置固体废物，排放大气污染物、水污染物、土壤污染物、噪声、光辐射、电磁辐射等有害物质。

第二百九十五条【维护相邻不动产安全】不动产权利人挖掘土地、建造建筑物、铺设管线以及安装设备等，不得危及相邻不动产的安全。

第二百九十六条【使用相邻不动产避免造成损害】不动产权利人因用水、排水、通行、铺设管线等利用相邻不动产的，应当尽量避免对相邻的不动产权利人造成损害。