手写 Transformer 解码推理与 Beam Search
哪些公司问过
答案要点
- 自回归解码:每步取最后位置输出过 log_softmax 得到下一个 token 分布,用 KV Cache 避免重复计算
- 维护 k 个候选序列及累积对数概率,每步扩展得到 k×V 个分数,展平取 top-k
- 用整除和取余还原来源候选与新 token,并按来源索引重排 KV Cache
- 遇到结束符移入完成列表停止扩展;达到最大长度或无法超过已完成最优分数时终止
- 最终按长度归一化分数排序,避免偏好短序列;每步代价约为 k 路前向加 k×V 的 top-k
易错点
- 第一步不处理重复候选,导致 beam 里全是相同序列
- 选出 top-k 后忘记按来源索引重排 KV Cache
- 不做长度归一化,结果系统性偏短
面试官常见追问
- 为什么用对数概率累加而不是概率连乘?
- beam search 有什么缺点,什么时候用采样?
- 第一步为什么只从一个候选扩展?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。