面试题库 › 算法 / 大模型 › DeepSeek 模型与 MoE 架构的路由细节

DeepSeek 模型与 MoE 架构的路由细节

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

腾讯音乐1慧疗互联网医院1

常见岗位:AI 应用 / Agent 开发、计算机视觉

答案要点

  1. V3 是通用基座,R1 在其基础上用强化学习强化推理,并有蒸馏小模型
  2. V3 为 MoE,总参数约 671B,每个 token 激活约 37B
  3. DeepSeekMoE:细粒度专家加始终激活的共享专家,减少冗余
  4. 路由:门控计算亲和度,选 top-k,归一化后加权;限制每个 token 发往的节点数
  5. 无辅助损失的负载均衡:动态偏置只影响选择;MLA 压缩 KV 缓存,多 token 预测

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题