Dense 与 MoE 架构的区别与适用场景
哪些公司问过
答案要点
- Dense:每个 token 经过全部参数;MoE:门控选 top-k 专家,稀疏激活
- MoE 总参数大但每 token 计算量取决于被激活专家,同计算预算下容量更大
- Dense 计算量随参数线性增长,训练稳定、实现简单
- MoE 训练要处理负载均衡和专家并行通信,难度高;显存要装下所有专家
- 大容量、多领域用 MoE;资源有限、追求简单稳定用 Dense
易错点
- 说 MoE 的显存占用比 Dense 小
- 忽略训练难度和通信开销
- 认为 MoE 在所有场景都更好
面试官常见追问
- MoE 为什么推理时显存不省?
- MoE 的负载不均怎么办?
- MoE 适合什么部署场景?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。