MoE 的原理和优势
哪些公司问过
答案要点
- 结构:多个专家网络加门控路由,每个 token 只选 top-k 个专家
- 稀疏激活:总参数量大,但计算量只取决于被激活的专家
- 优势:模型容量大,计算效率高
- 挑战:路由不均衡,需要负载均衡损失和容量限制
- 挑战:专家并行需要 all-to-all 通信;显存仍要存放全部专家参数
易错点
- 说 MoE 参数少所以省显存
- 忽略路由不均衡和通信开销
- 分不清计算量省和显存省
面试官常见追问
- 专家数量翻倍会有什么问题?
- 路由不均衡怎么处理?
- 共享专家是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。