Attention 为什么要除以根号 d_k
哪些公司问过
答案要点
- 假设分量独立、均值 0 方差 1 时,q·k 的方差为 d_k,随维度增大
- 分数过大使 softmax 饱和、接近 one-hot,梯度趋近 0,训练不稳定
- 除以 √d_k 把方差归一到 1,使分布与维度无关
- 除以 d_k 会让方差过小,softmax 趋于均匀,注意力失去区分度
易错点
- 说是为了防止数值溢出,本质是 softmax 饱和导致梯度变小
- 推导时漏掉分量独立、均值 0、方差 1 的前提假设
- 以为除以 d_k 更好,实际会让注意力趋于均匀
面试官常见追问
- 说一下 Decoder 的因果注意力,Q、K、V 分别来自哪?
- RoPE 的结构是什么?为什么外推性更好,能无限外推吗?
- 以单层为例,LLM 前向的张量维度怎么变化?
- 相对位置编码和绝对位置编码有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。