面试题库 › 算法 / 大模型 › MoE 的路由机制与负载均衡

MoE 的路由机制与负载均衡

难度 ★★★在 4 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动1百度1MiniMax1多家AI公司(字节、百度、美团、滴滴、腾讯等)1

常见岗位:AI 应用 / Agent 开发、推理部署与加速、大模型算法、推荐搜索广告

答案要点

  1. 门控网络线性层加 softmax,为每个 token 选 top-k 专家,输出加权求和
  2. 负载不均源于正反馈:被选多的专家训练更好,分数更高,造成路由塌缩
  3. 其他原因:数据分布不均,专家容量限制导致 token 被丢弃
  4. 缓解:辅助负载均衡损失、专家容量、路由加噪声
  5. 无辅助损失的偏置调节,专家选择路由;利用率低的专家可调偏置或重新初始化

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题