离婚双方是不可以协议放弃探望权的。父母与子女间的关系，不因父母离婚而消除;离婚后，子女无论由父亲或母亲直接抚养，仍是父母双方的子女，这是处理父母子女关系和子女抚养纠纷的基本原则。

离婚后，父母对于子女的抚养不仅仅是一种权利，同时也是一种义务，而且，这种权利和义务不是离婚双方之间可以自由处分的权利义务。因此，涉及未成年子女切身利益的权利义务内容，如探望权等，离婚双方是不能作任意处置的，即使进行了处置，这种处置也是没有法律效力的。离婚后，父母对子女的权利义务性质上没有发生改变，只不过双方行使这种权利义务的方式有所不同，即：直接抚养子女的一方是通过具体和直接的照顾、教育等抚养行为来实现和履行其对子女的抚养权利和义务;不直接抚养子女的一方对子女的抚养权利和抚养义务，则主要通过探望和负担抚养费等方式来实现和履行。因此，离婚双方是无权通过协议方式自行放弃对子女的探望权的。不仅如此，直接抚养子女的一方对对方实现和履行对子女的抚养权利义务行为还应当提供必要的协助。

另外，从民法典的“由人民法院依法中止探望的权利”规定的措辞来看，探望权只能依照法定程序由法院中止，不存在可以由离婚双方协议放弃的可能。

不遵守离婚协议的约定，非抚养方频繁探望子女，抚养方提出异议的，应如何处理

《民法典》第一千零八十六条第三款规定：“父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利;中止的事由消失后，应当恢复探望的权利。”实践中，离异后的父或母频繁探望子女，或违反探望的约定或规定会见子女，以致干扰了子女的正常生活，影响其身心健康。根据有关司法解释，在下列4种情形下，未成年子女及其监护人可以向法院请求中止父或母探望的权利：

(1)患有严重精神病或者烈性传染性疾病的;

(2)对子女实施家庭暴力或者虐待子女的;

(3)探望权人与子女关系严重恶化，子女坚决拒绝探望的;

(4)其他不利于子女身心健康应当中止其探望权的事由。

如果非直接抚养方违反协议，频繁探望子女，且事实上影响了子女的身心健康，双方在协商不成的情况下，直接抚养方可以向法院起诉，请求法院中止对方的探望权。但是，如果非直接抚养方改正其不利于子女身心健康的探望行为的，经法院确认可以恢复其探望子女的权利。