面试题库 › 算法 / 大模型 › Qwen3 的改进与特点

Qwen3 的改进与特点

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

字节跳动2美团1百度1

常见岗位:大模型算法

答案要点

  1. 模型家族:0.6B 至 32B 稠密模型,加 30B-A3B、235B-A22B 两个 MoE 模型
  2. 混合思考模式:同一模型支持思考与非思考两种模式,可按需切换
  3. 结构:GQA、SwiGLU、RoPE、RMSNorm,用 QK-Norm 替代 QKV 偏置
  4. MoE 设 128 个专家、每 token 激活 8 个,不使用共享专家
  5. Qwen3-Coder 旗舰为 480B 总参、35B 激活的 MoE,160 个专家激活 8 个

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题