MMoE 的核心亮点是什么
哪些公司问过
答案要点
- 把 Shared-Bottom 的硬共享改为多专家加门控的软共享,共享程度由模型自己学
- 每个任务一个独立门控网络,输出对专家的 softmax 权重,实现按任务加权组合
- 门控以输入为条件,同一任务对不同样本也可选择不同专家组合
- 任务相关性低时能缓解负迁移和跷跷板现象,相关性高时仍能共享知识
- 参数和计算开销增加有限,适合推荐多目标排序;存在门控塌缩、专家极化问题,PLE 对此做了改进
易错点
- 把多个任务共用一个门控当成 MMoE,那其实是 OMoE
- 以为门控是固定的任务权重,实际门控输出依赖输入样本
- 认为 MMoE 能彻底消除负迁移,实际仍可能出现门控塌缩和跷跷板
面试官常见追问
- 写一下 MMoE 的伪代码
- MMoE 和 MoE 有什么区别?
- PLE 相比 MMoE 改进了什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。