面试题库 › 算法 / 大模型 › 手写带 KV Cache 的多头注意力与形状变化

手写带 KV Cache 的多头注意力与形状变化

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动1

常见岗位:大模型算法

答案要点

  1. x(B,L,d) 经投影得 Q/K/V,拆头为 (B,H,L,d_head),d_head=d/H
  2. QK^T/√d_head 得分数 (B,H,L,L),缩放防止 softmax 饱和;加掩码 softmax 后乘 V 得 (B,H,L,d_head)
  3. transpose 回 (B,L,H,d_head),contiguous 后合并为 (B,L,d),再过 Wo
  4. KV Cache:预分配 (B,H,max_len,d_head),按 start_pos 写入当前 K/V,读取 [0,start_pos+L)
  5. prefill 时 start_pos=0、L 为 prompt 长度;解码时 L=1,分数形状为 (B,H,1,start_pos+1)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题