Transformer 中使用了什么激活函数
哪些公司问过
答案要点
- 原始 Transformer 的激活函数在 FFN 中,用 ReLU:max(0, xW1+b1)W2+b2,中间维度约为 d_model 的 4 倍(论文中 512→2048)
- BERT、GPT 系列改用 GELU:x·Φ(x),曲线平滑,负半轴有小的非零梯度
- LLaMA、PaLM 等用 SwiGLU:Swish(xW)⊙(xV) 再投影,多一个权重矩阵,隐藏维度常取约 8/3·d
- softmax 用于注意力权重归一化,LayerNorm 用于归一化,二者通常都不归为 FFN 的激活函数
易错点
- 把 softmax 当成 Transformer 的激活函数而忘了 FFN
- 说所有 Transformer 都用 ReLU,忽略 BERT/GPT 的 GELU 和 LLaMA 的 SwiGLU
- 把 SwiGLU 当成单纯的逐元素激活函数,忽略它是带门控、多一个权重矩阵的 FFN 结构
面试官常见追问
- 为什么要用 ReLU?
- ReLU 有哪些缺点?
- GELU 和 ReLU 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。