Transformer 中注意力与 FFN 各自的作用
哪些公司问过
答案要点
- 注意力在位置之间按相关性加权聚合 Value,建模上下文依赖
- FFN 对每个位置独立做两层线性加激活,进行非线性变换
- 逐元素非线性主要来自 FFN 的激活函数,如 ReLU、GELU
- 注意力通过 softmax 和输入相关的权重,对输入整体也是非线性的
- 概括为注意力负责跨位置混合信息,FFN 负责逐位置加工
易错点
- 断言注意力完全是线性的
- 说 FFN 在位置之间交换信息
- 把 GQA 理解为对 Q 做压缩,它分组共享的是 K、V
面试官常见追问
- 为什么要除以根号 d?
- softmax 有什么性质?输入趋于正负无穷时怎样?
- 多头注意力复杂度、GQA 和 RoPE?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。