面试题库 › C++ / 后端 › Transformer移除FFN结构会有什么问题

Transformer移除FFN结构会有什么问题

难度 ★★★在 1 场真实面经中被问到 方向:C++ / 后端考点:大模型结构演进

哪些公司问过

蚂蚁集团1

常见岗位:推荐搜索广告

答案要点

  1. FFN逐位置做升维、非线性、降维,是主要的非线性变换来源
  2. 注意力输出是Value的加权平均,对Value线性,单靠它表达能力受限
  3. d_ff为4倍d_model时FFN约占每层参数三分之二,被认为承担大量知识存储
  4. 纯注意力堆叠会出现秩坍塌、token表示趋同,残差和FFN可缓解
  5. 实践中通过SwiGLU、MoE等改进FFN,而不是去掉它

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题