面试题库 › 算法 / 大模型 › 门控机制的原理(LSTM、GRU、GLU)

门控机制的原理(LSTM、GRU、GLU)

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

腾讯1

常见岗位:大模型算法

答案要点

  1. sigmoid 产生 0 到 1 的门值,与信号逐元素相乘,按维度动态控制信息流
  2. LSTM 有遗忘门、输入门、输出门;细胞状态加法更新,缓解梯度消失
  3. GRU 简化为更新门和重置门,参数更少
  4. GLU 为一路线性变换乘以另一路的 sigmoid;换成 Swish 即 SwiGLU
  5. SwiGLU 被 LLaMA 等模型用于 FFN;Highway 网络、MoE 路由也是门控思想

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题