面试题库 › 算法 / 大模型 › 仅用基础 math 库手写 Causal Attention

仅用基础 math 库手写 Causal Attention

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 流程:X 乘 W_Q、W_K、W_V 得 Q、K、V → 打分 QK^T/√d_k → 因果掩码 → 按行 softmax → 乘 V
  2. 因果掩码让位置 i 只关注 j≤i,j>i 的分数设为负无穷,softmax 后权重为 0
  3. softmax 先减每行最大值再用 math.exp,防止指数溢出
  4. 除以 √d_k 控制点积方差,防止 softmax 饱和导致梯度过小
  5. 复杂度时间 O(n²d)、空间 O(n²);多头为切分维度并行计算后拼接再投影

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题