面试题库 › 算法 / 大模型 › 大语言模型基础:KV Cache 与注意力变体

大语言模型基础:KV Cache 与注意力变体

难度 ★★★在 14 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动3百度3京东2小红书1寒武纪1沐曦1沐曦集成电路1

常见岗位:大模型算法、推理部署与加速、人工智能、计算机视觉、Java 后端

答案要点

  1. LLM 基于 Transformer,自回归生成,训练目标是预测下一个 token
  2. KV Cache 缓存历史 K、V,新一步只算新 token,避免重复计算
  3. 代价:显存随长度、层数、并发增长;decode 阶段受带宽限制
  4. MHA 各头独立 KV;MQA 全部共享;GQA 分组共享;MLA 压缩为低维潜向量
  5. Scaling Law:损失随参数量、数据量、算力呈幂律下降

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题