DeepSeek 相比 GPT 架构有哪些改进
哪些公司问过
答案要点
- GPT-4 之后的架构未公开,通常与经典稠密 Transformer 解码器对比
- MoE:总参数大、每 token 只激活部分专家,细粒度专家加共享专家
- 无辅助损失的负载均衡策略,减少均衡损失对效果的干扰
- MLA 将 K、V 压缩为低维潜在向量缓存,大幅降低 KV Cache
- V3 采用多 token 预测和 FP8 混合精度训练,R1 用大规模强化学习提升推理
易错点
- 断言 GPT-4 的具体架构细节,实际上官方未公开
- 把 MoE 的总参数量当作每次推理的计算量
- 以为 MLA 是减少注意力头数,混同于 GQA
面试官常见追问
- MoE 有什么代价?
- MLA 和 GQA 都是省 KV Cache,有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。