DeepSeek 模型与 MoE 架构的路由细节
哪些公司问过
腾讯音乐1慧疗互联网医院1
答案要点
- V3 是通用基座,R1 在其基础上用强化学习强化推理,并有蒸馏小模型
- V3 为 MoE,总参数约 671B,每个 token 激活约 37B
- DeepSeekMoE:细粒度专家加始终激活的共享专家,减少冗余
- 路由:门控计算亲和度,选 top-k,归一化后加权;限制每个 token 发往的节点数
- 无辅助损失的负载均衡:动态偏置只影响选择;MLA 压缩 KV 缓存,多 token 预测
易错点
- 把 R1 和 V3 说成同一个模型
- 说 DeepSeek 没有共享专家
- 把负载均衡说成只靠辅助损失
面试官常见追问
- 共享专家有什么作用?
- 无辅助损失的负载均衡是怎么做的?
- MLA 是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。