【CTR排序】多任务学习之MMOE模型
企业开发
2022-10-03 22:55:40
阅读次数: 0
学习总结
- 常见的多任务模型有三种范式:
- hard parameter sharing:底部有shared bottom,然后上层用全连接层分别学习特定任务模式,但是当两个任务相关性没那么好(比如排序中的点击率与互动,点击与停留时长),共用一套shared bottem参数的效果就可能没这么好了。
- soft parameter sharing: 这个范式对应的结果从
MOE->MMOE->PLE
等。没有shared bottom,而是有不同权重的不同专家tower进行组合预测。
- 任务序列依赖关系建模:如ESSM,DBMTL,ESSM2等都是属于该范式。这种适合于不同任务之间有一定的序列依赖关系。比如电商场景里面的ctr和cvr,其中cvr这个行为只有在点击之后才会发生。所以这种依赖关系如果能加以利用,可以解决任务预估中的样本选择偏差(SSB)和数据稀疏性(DS)问题
- 样本选择偏差: 后一阶段的模型基于上一阶段采样后的样本子集训练,但最终在全样本空间进行推理,带来严重泛化性问题
- 样本稀疏: 后一阶段的模型训练样本远小于前一阶段任务
- MOE混合专家模型的几个思想:bagging模型集成思想、注意力机制(不同专家的决策地位不同)、multi-head机制(多个专家即多个head,代表了不同的非线性空间)。
- Multi-gate Mixture-of-Experts(MMOE)的魅力就在于在MOE的基础上,对于每个任务都会涉及一个门控网络,这样,对于每个特定的任务,都能有一组对应的专家组合去进行预测。
转载自blog.csdn.net/qq_35812205/article/details/125471739