面试题库 › 算法 / 大模型 › MoE 的原理和优势

MoE 的原理和优势

难度 ★★☆在 10 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

阿里巴巴3华为2小红书1携程1

常见岗位:大模型算法、AI 应用 / Agent 开发、NLP / 语音

答案要点

  1. 结构:多个专家网络加门控路由,每个 token 只选 top-k 个专家
  2. 稀疏激活:总参数量大,但计算量只取决于被激活的专家
  3. 优势:模型容量大,计算效率高
  4. 挑战:路由不均衡,需要负载均衡损失和容量限制
  5. 挑战:专家并行需要 all-to-all 通信;显存仍要存放全部专家参数

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题