Qwen 与 DeepSeek 的架构及关键创新
哪些公司问过
答案要点
- 共同基础:Decoder-only,RMSNorm、RoPE、SwiGLU
- Qwen:GQA,Qwen2/2.5 有 QKV 偏置,YaRN 加 DCA 做长度外推
- Qwen3:去掉 QKV 偏置、引入 QK-Norm,提供稠密与 MoE 模型,支持思考模式切换
- DeepSeek:MLA 压缩 KV Cache,DeepSeekMoE 细粒度专家加共享专家
- DeepSeek-V3:无辅助损失负载均衡、多 token 预测、FP8 训练;R1 用 GRPO 强化学习
易错点
- 把 MLA 和 GQA、MQA 混为一谈
- 说所有 Qwen 模型都是 MoE,实际也有大量稠密模型
- 记错模型规模、专家数等具体数字,没把握时不说具体值
面试官常见追问
- Llama1 到 Llama3 有哪些变化?
- MLA 和 GQA 都能降低 KV Cache,有什么不同?
- MoE 的负载均衡怎么做?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。