仅用基础 math 库手写 Causal Attention
答案要点
- 流程:X 乘 W_Q、W_K、W_V 得 Q、K、V → 打分 QK^T/√d_k → 因果掩码 → 按行 softmax → 乘 V
- 因果掩码让位置 i 只关注 j≤i,j>i 的分数设为负无穷,softmax 后权重为 0
- softmax 先减每行最大值再用 math.exp,防止指数溢出
- 除以 √d_k 控制点积方差,防止 softmax 饱和导致梯度过小
- 复杂度时间 O(n²d)、空间 O(n²);多头为切分维度并行计算后拼接再投影
易错点
- softmax 不减最大值,math.exp 容易溢出
- 掩码位置填 0 而不是负无穷,被掩码位置仍会分到权重
- 掩码方向写反,变成只看未来
- 漏掉 √d_k 缩放
面试官常见追问
- 为什么要除以 √d_k?
- 不显式构造 n×n 掩码能实现因果吗?
- 推理时 KV Cache 怎么和因果注意力配合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。