MoE 的路由机制与负载均衡
哪些公司问过
答案要点
- 门控网络线性层加 softmax,为每个 token 选 top-k 专家,输出加权求和
- 负载不均源于正反馈:被选多的专家训练更好,分数更高,造成路由塌缩
- 其他原因:数据分布不均,专家容量限制导致 token 被丢弃
- 缓解:辅助负载均衡损失、专家容量、路由加噪声
- 无辅助损失的偏置调节,专家选择路由;利用率低的专家可调偏置或重新初始化
易错点
- 说路由塌缩是因为专家数量太少
- 负载均衡损失权重设得过大
- 不提专家容量和 token 丢弃
面试官常见追问
- 负载均衡损失为什么可能导致路由塌缩或副作用?
- 专家选择路由是什么?
- 部分专家利用率明显偏低怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。