语言模型中能否使用两层 LSTM 及原因
哪些公司问过
答案要点
- 可以使用:把下层每个时刻的隐状态作为上层同一时刻的输入,形成堆叠 LSTM
- 多层带来分层表示:底层偏词法句法,高层偏抽象语义,提升建模能力
- 层间加 dropout 防过拟合,常见只加在非循环连接上;更深时用残差连接缓解训练困难
- 自回归语言模型每层必须单向,双向表示需像 ELMo 那样分别训练前向和后向模型
- 层数增加带来串行计算延迟和参数量上升,实践中两到三层较常见
易错点
- 在自回归语言模型里直接用双向 LSTM,造成未来信息泄漏
- 认为层数越多效果一定越好,忽视过拟合和训练难度
- 把 dropout 加在所有时间步的循环连接上,破坏长期记忆
面试官常见追问
- 为什么 dropout 不加在时间方向的循环连接上?
- 多层 LSTM 和 Transformer 做语言模型相比有什么劣势?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。