面试题库 › C++ / 后端 › Transformer 为什么比 CNN 和 RNN 效果好

Transformer 为什么比 CNN 和 RNN 效果好

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:Transformer架构

哪些公司问过

字节跳动1

常见岗位:后端开发

答案要点

  1. 自注意力让任意两位置直接交互,长距离依赖路径长度为常数
  2. 训练时整段序列可并行,RNN 需按时间步串行
  3. CNN 感受野有限,需堆叠多层才能建模全局关系
  4. 多头注意力学习多种子空间关系,配合残差与 LayerNorm 易于扩展规模
  5. 代价是平方复杂度、归纳偏置弱,小数据下未必优于 CNN/RNN

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题