Transformer/BERT 的可训练参数构成与分布
哪些公司问过
答案要点
- 嵌入层:词嵌入、可学习位置嵌入、段嵌入;正弦位置编码不训练
- 注意力:Q、K、V、O 四个投影约 4d² 参数,点积与 softmax 无参数
- FFN:两层线性,中间维度常为 4d,约 8d²,占每层参数约三分之二
- LayerNorm 的 γ、β 也会更新,参数量很小
- BERT-base:12 层、768 维、12 头,约 1.1 亿参数,词嵌入约两千多万
易错点
- 说注意力机制本身有可学习参数:可学习的是投影矩阵,点积和 softmax 没有
- 以为位置编码都要训练:正弦编码固定,RoPE 也没有参数
- 低估 FFN 的参数占比:通常大于注意力部分
面试官常见追问
- 注意力结构相比 RNN 有什么优点?
- 微调 BERT 时更新哪些参数?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。