如果受托人存在严重的违约行为，委托人可以要求单方解除合同。如果受托人不存在过错，且单方解除合同的行为，给受托人造成损失的，则应当予以赔偿。

一、单方解除委托合同是否违约

依法成立的合同，对当事人具有法律约束力。当事人应当按约定履行自己的义务，不得擅自变更或解除合同。委托方式一般有委托完成具体事项或委托完成某一具体时期的事务两种。对当事人在委托事项未完成或时期未届满时解除委托合同，一种观点认为不构成违约，理由是，委托合同是一种特殊形式的合同，法律赋予了当事人随意解除合同的权利，单方解除合同不构成违约。反言之，如果行使法律规定的解除权却构成违约，那法律应是违约方。

另一种认为构成违约，理由是事项委托或时期委托是当事人的约定，事务未完成或时期未届满即解除合同，显然与约定不符，解除合同的行为与当事人的约定客观上处于矛盾或对立状态。因此只要约定依法成立，该约定即受法律保护，应按全面履行的原则履行，否则便构成违约。笔者赞同后一种观点，因为只有这样，法律的内涵才能统一，也才符合全面履行和诚实信用的原则。

但由于委托合同的特殊性，在违约责任方面应区别于其他合同。委托合同解除，对方不能获得要求继续履行的补救，而只能获得损失赔偿等补救。因为委托合同特别注重委托人和受托人之间的信任，一旦这种信任不复存在或受到怀疑，合同便失去履行的基础，法律在委托合同中赋予当事人任意解除权的出发点即在于此。但是，违约的事实是客观存在的，法律不应对其视而不见。

二、能否约定不得解除委托合同

当事人为保护自己的利益，有的在委托合同中约定合同一经签订，任何一方不得单方解除。对于这样的约定，其效力如何，是否受法律保护？委托合同中关于不得解除合同的约定是无效的。约定不得解除合同，必然导致另一种结果，即该合同必须获得法律上的强制履行权，委托合同的特殊之处是其基于当事人之间的信任而订立，并且具有人身关系的性质，一旦产生矛盾，信任便会受损或不复存在，难以继续维持，强制履行在客观上行不通，不能实现当事人订立委托合同的目的。合同自由是意思自治的体现，是民事法律行为生效的条件之一，但民事法律行为有效还有其他条件，合法性亦是必须具备的，不得解除合同的约定与民法典中关于委托合同可以随时解除的规定直接相冲突，其不合法性是显而易见的。如果不得解除合同的约定有效，那关于完成特定事项之委托和一定的委托期限亦应构成对解除合同的抗辩，那解除权将在实际上被破坏。