Transformer 为什么比 CNN 和 RNN 效果好
哪些公司问过
答案要点
- 自注意力让任意两位置直接交互,长距离依赖路径长度为常数
- 训练时整段序列可并行,RNN 需按时间步串行
- CNN 感受野有限,需堆叠多层才能建模全局关系
- 多头注意力学习多种子空间关系,配合残差与 LayerNorm 易于扩展规模
- 代价是平方复杂度、归纳偏置弱,小数据下未必优于 CNN/RNN
易错点
- 说 Transformer 在任何场景都优于 CNN、RNN,忽略数据规模条件
- 忽略注意力 O(n²) 的计算和显存开销
- 忘记自注意力本身对顺序不敏感,需要位置编码
面试官常见追问
- Transformer 推理时也能并行吗?
- 为什么 ViT 在小数据集上常不如 CNN?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。