面试题库 › 算法 / 大模型 › 手写 MoE 负载均衡损失函数

手写 MoE 负载均衡损失函数

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

常见岗位:产品经理

答案要点

  1. f_i:分配给专家 i 的 token 比例,由 top-k 结果统计,不可导
  2. P_i:所有 token 对专家 i 的平均路由概率,可导
  3. L_aux = α·N·Σ f_i·P_i,加入总损失
  4. 梯度经 P_i 回传,抑制过载专家
  5. α 取较小值,均衡与主任务效果需要权衡

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题