面试题库 › 算法 / 大模型 › 语言模型中能否使用两层 LSTM 及原因

语言模型中能否使用两层 LSTM 及原因

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:循环神经网络

哪些公司问过

金山1

常见岗位:NLP / 语音

答案要点

  1. 可以使用:把下层每个时刻的隐状态作为上层同一时刻的输入,形成堆叠 LSTM
  2. 多层带来分层表示:底层偏词法句法,高层偏抽象语义,提升建模能力
  3. 层间加 dropout 防过拟合,常见只加在非循环连接上;更深时用残差连接缓解训练困难
  4. 自回归语言模型每层必须单向,双向表示需像 ELMo 那样分别训练前向和后向模型
  5. 层数增加带来串行计算延迟和参数量上升,实践中两到三层较常见

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题