面试题库 › 算法 / 大模型 › Attention 为什么要除以根号 d_k

Attention 为什么要除以根号 d_k

难度 ★★☆在 9 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

字节跳动3蚂蚁集团2京东1阿里巴巴1腾讯音乐1

常见岗位:大模型算法、机器学习算法(泛)、计算机视觉、推荐搜索广告

答案要点

  1. 假设分量独立、均值 0 方差 1 时,q·k 的方差为 d_k,随维度增大
  2. 分数过大使 softmax 饱和、接近 one-hot,梯度趋近 0,训练不稳定
  3. 除以 √d_k 把方差归一到 1,使分布与维度无关
  4. 除以 d_k 会让方差过小,softmax 趋于均匀,注意力失去区分度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题