SwiGLU 激活函数的公式与改进点
哪些公司问过
答案要点
- Sigmoid:饱和区梯度消失、非零中心;ReLU:缓解梯度消失但可能神经元死亡
- SwiGLU 公式:FFN(x) = (Swish(xW) ⊗ xV)·W2,Swish(x) = x·sigmoid(βx)
- 结构:门控支路经 SiLU,与线性支路逐元素相乘,再经下投影
- 优势:门控机制增强表达能力,Swish 平滑、负区间仍有梯度
- 三个权重矩阵,中间维度常缩到约 8d/3 以保持参数量,LLaMA 等模型采用
易错点
- 把 SwiGLU 当成普通逐元素激活函数:它是包含两路投影和门控的 FFN 结构
- 忘了参数量变化:多了一个矩阵,需调整中间维度
- 混淆 Swish 和 SiLU:SiLU 是 β=1 的 Swish
面试官常见追问
- 能画一下 SwiGLU 的结构吗?
- GELU 和 Swish 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。