《劳务派遣暂行规定》第十四条规定：被派遣劳动者提前30日以书面形式通知劳务派遣单位，可以解除劳动合同。被派遣劳动者在试用期内提前3日通知劳务派遣单位，可以解除劳动合同。劳务派遣单位应当将被派遣劳动者通知解除劳动合同的情况及时告知用工单位。

第十五条被派遣劳动者因本规定第十二条规定被用工单位退回，劳务派遣单位重新派遣时维持或者提高劳动合同约定条件，被派遣劳动者不同意的，劳务派遣单位可以解除劳动合同。

被派遣劳动者因本规定第十二条规定被用工单位退回，劳务派遣单位重新派遣时降低劳动合同约定条件，被派遣劳动者不同意的，劳务派遣单位不得解除劳动合同。但被派遣劳动者提出解除劳动合同的除外。

《劳动合同法》第三十六条的规定，用人单位与劳动者协商一致，可以解除劳动合同。

第三十八条规定：有下列情形之一的，劳动者可以随时通知用人单位解除劳动合同：

(一)用人单位未按照劳动合同约定提供劳动保护和劳动条件的；

(二)用人单位未及时足额支付劳动报酬的；

(三)用人单位未依法为劳动者缴纳社会保险费的；

(四)用人单位的规章制度违反法律、法规的规定，损害劳动者权益的；

(五)用人单位因本法第二十六条规定的情形致使劳动合同无效的；

(六)法律、行政法规规定的其他情形。用人单位以暴力、威胁或者非法限制人身自由的手段强迫劳动者劳动的，或者用人单位违章指挥、强令冒险作业危及劳动者人身安全的，劳动者可以立即解除劳动合同，无需事先告知用人单位。

此条第二条款规定了用工单位可以退回被派遣劳动者及派遣单位解除劳动合同的情形。用工单位与被派遣劳动者之间构成的是劳务关系，而非劳动合同关系。

依照本法第三十九条的规定：劳动者有下列情形之一的，用人单位可以解除劳动合同：

(一)在试用期内被证明不符合录用条件的；

(二)严重违反用人单位的规章制度的；

(三)严重失职，营私舞弊，给用人单位的利益造成重大损害的；

(四)劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；

(五)因本法第二十六条第一项规定的情形致使劳动合同无效的；

(六)被依法追究刑事责任的。

可见，用工单位退回被派遣劳动者只能是因为劳动者不符合录用条件或严重违纪违法，这样劳务派遣单位就可以依照劳动合同法的规定解除劳动合同。