手写 MoE 负载均衡损失函数
答案要点
- f_i:分配给专家 i 的 token 比例,由 top-k 结果统计,不可导
- P_i:所有 token 对专家 i 的平均路由概率,可导
- L_aux = α·N·Σ f_i·P_i,加入总损失
- 梯度经 P_i 回传,抑制过载专家
- α 取较小值,均衡与主任务效果需要权衡
易错点
- 只用 f_i 计算损失,导致不可导
- 忘记乘专家数 N 做归一
- α 设得过大,影响主任务效果
面试官常见追问
- 早期 MoE 用的 CV^2 损失是什么?
- 除了辅助损失还有什么均衡方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。