线性注意力的原理与优缺点
哪些公司问过
答案要点
- 标准注意力计算量随序列长度平方增长,推理 KV Cache 随长度线性增长
- 线性注意力用特征映射替代 softmax,利用结合律先算 φ(K)^T V,复杂度对序列长度线性
- 因果形式可写成 RNN:S_t = S_{t-1} + φ(k_t)v_t^T,o_t = φ(q_t)S_t,推理显存恒定
- 缺点:固定大小状态压缩全部历史,检索和召回能力较弱,训练需要分块并行的专用实现
- 改进方向:衰减、门控、delta 规则(RetNet、GLA、DeltaNet 等),以及与标准注意力层混合
易错点
- 只说把 softmax 换成别的函数,没讲清结合律改变计算顺序才是降复杂度的关键
- 以为线性注意力全面优于标准注意力,忽略检索和召回能力的损失
- 把线性注意力与稀疏注意力、滑动窗口注意力混为一谈
面试官常见追问
- 线性注意力和 Mamba 这类状态空间模型有什么联系?
- 线性注意力训练时怎么并行?
- 为什么去掉 softmax 后效果容易下降?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。