面试题库 › 算法 / 大模型 › Qwen 与 DeepSeek 的架构及关键创新

Qwen 与 DeepSeek 的架构及关键创新

难度 ★★★在 5 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

美团1阿里巴巴1沐曦集成电路1MiniMax1

常见岗位:推理部署与加速、大模型算法

答案要点

  1. 共同基础:Decoder-only,RMSNorm、RoPE、SwiGLU
  2. Qwen:GQA,Qwen2/2.5 有 QKV 偏置,YaRN 加 DCA 做长度外推
  3. Qwen3:去掉 QKV 偏置、引入 QK-Norm,提供稠密与 MoE 模型,支持思考模式切换
  4. DeepSeek:MLA 压缩 KV Cache,DeepSeekMoE 细粒度专家加共享专家
  5. DeepSeek-V3:无辅助损失负载均衡、多 token 预测、FP8 训练;R1 用 GRPO 强化学习

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题