面试题库 › 算法 / 大模型 › Transformer 中使用了什么激活函数

Transformer 中使用了什么激活函数

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:激活函数

哪些公司问过

字节跳动1

常见岗位:推荐搜索广告

答案要点

  1. 原始 Transformer 的激活函数在 FFN 中,用 ReLU:max(0, xW1+b1)W2+b2,中间维度约为 d_model 的 4 倍(论文中 512→2048)
  2. BERT、GPT 系列改用 GELU:x·Φ(x),曲线平滑,负半轴有小的非零梯度
  3. LLaMA、PaLM 等用 SwiGLU:Swish(xW)⊙(xV) 再投影,多一个权重矩阵,隐藏维度常取约 8/3·d
  4. softmax 用于注意力权重归一化,LayerNorm 用于归一化,二者通常都不归为 FFN 的激活函数

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题