面试题库 › 算法 / 大模型 › 线性注意力的原理与优缺点

线性注意力的原理与优缺点

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

快手1

常见岗位:推理部署与加速

答案要点

  1. 标准注意力计算量随序列长度平方增长,推理 KV Cache 随长度线性增长
  2. 线性注意力用特征映射替代 softmax,利用结合律先算 φ(K)^T V,复杂度对序列长度线性
  3. 因果形式可写成 RNN:S_t = S_{t-1} + φ(k_t)v_t^T,o_t = φ(q_t)S_t,推理显存恒定
  4. 缺点:固定大小状态压缩全部历史,检索和召回能力较弱,训练需要分块并行的专用实现
  5. 改进方向:衰减、门控、delta 规则(RetNet、GLA、DeltaNet 等),以及与标准注意力层混合

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题