面试题库 › 算法 / 大模型 › Transformer/BERT 的可训练参数构成与分布

Transformer/BERT 的可训练参数构成与分布

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

小米1字节跳动1

常见岗位:大模型算法、NLP / 语音

答案要点

  1. 嵌入层:词嵌入、可学习位置嵌入、段嵌入;正弦位置编码不训练
  2. 注意力:Q、K、V、O 四个投影约 4d² 参数,点积与 softmax 无参数
  3. FFN:两层线性,中间维度常为 4d,约 8d²,占每层参数约三分之二
  4. LayerNorm 的 γ、β 也会更新,参数量很小
  5. BERT-base:12 层、768 维、12 头,约 1.1 亿参数,词嵌入约两千多万

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题