Transformer移除FFN结构会有什么问题
哪些公司问过
答案要点
- FFN逐位置做升维、非线性、降维,是主要的非线性变换来源
- 注意力输出是Value的加权平均,对Value线性,单靠它表达能力受限
- d_ff为4倍d_model时FFN约占每层参数三分之二,被认为承担大量知识存储
- 纯注意力堆叠会出现秩坍塌、token表示趋同,残差和FFN可缓解
- 实践中通过SwiGLU、MoE等改进FFN,而不是去掉它
易错点
- 说去掉FFN后整个模型完全是线性的,忽略softmax和LayerNorm的非线性
- 只说表达能力下降,说不出参数占比和知识存储作用
- 不知道实际改进方向是SwiGLU、MoE等,而非删除FFN
面试官常见追问
- 为什么FFN约占每层参数的三分之二?
- MoE是怎么改造FFN的?
- 既然softmax是非线性的,为什么还说注意力表达能力有限?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。