LSTM 与 Transformer 的差异
哪些公司问过
答案要点
- 结构:LSTM 循环串行、门控记忆;Transformer 自注意力并行
- 依赖建模:LSTM 远距离信息需多步传递,Transformer 任意位置一步交互
- Transformer 无循环,需要位置编码;训练可沿序列并行
- 复杂度:自注意力 O(n²),LSTM O(n),推理时 LSTM 状态大小固定
- 适用:Transformer 擅长大数据长文本,LSTM 适合小数据、流式和端侧
易错点
- 说 LSTM 完全解决了长依赖问题
- 说 Transformer 推理也能完全并行生成
- 忽视自注意力的平方复杂度
面试官常见追问
- LSTM 为什么能缓解梯度消失?
- Transformer 推理时为什么也是逐步的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。