门控机制的原理(LSTM、GRU、GLU)
哪些公司问过
答案要点
- sigmoid 产生 0 到 1 的门值,与信号逐元素相乘,按维度动态控制信息流
- LSTM 有遗忘门、输入门、输出门;细胞状态加法更新,缓解梯度消失
- GRU 简化为更新门和重置门,参数更少
- GLU 为一路线性变换乘以另一路的 sigmoid;换成 Swish 即 SwiGLU
- SwiGLU 被 LLaMA 等模型用于 FFN;Highway 网络、MoE 路由也是门控思想
易错点
- 说 LSTM 完全解决了梯度消失,实际只是缓解
- 混淆 GRU 的更新门和重置门作用
- 把 GLU 中的门写成 tanh
面试官常见追问
- 为什么门控用 sigmoid 而不是 tanh?
- SwiGLU 相比普通 FFN 有什么变化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。