MMoE 前向计算伪代码
哪些公司问过
答案要点
- 输入特征 x 送入 n 个专家网络,得到 n 个专家输出并堆叠为 batch×n×d
- 每个任务有独立门控:g_k = softmax(W_k·x),输出 batch×n 的专家权重
- 按门控权重在专家维度加权求和:h_k = Σ_i g_k[i]·expert_i(x)
- h_k 送入任务 k 的独立塔网络得到预测,如 sigmoid 输出 CTR、CVR
- 总损失为各任务损失加权和,专家、门控、塔联合训练
易错点
- 所有任务共用一个门控,退化成 OMoE
- softmax 做在 batch 维而不是专家维,加权求和维度写错
- 任务塔共享参数,失去了各任务独立输出的意义
面试官常见追问
- 门控网络的输入一定是原始特征吗?
- 专家数量怎么选?
- 多任务损失权重怎么定?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。