面试题库 › 算法 / 大模型 › 手写 Transformer 解码推理与 Beam Search

手写 Transformer 解码推理与 Beam Search

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

字节跳动1

常见岗位:NLP / 语音

答案要点

  1. 自回归解码:每步取最后位置输出过 log_softmax 得到下一个 token 分布,用 KV Cache 避免重复计算
  2. 维护 k 个候选序列及累积对数概率,每步扩展得到 k×V 个分数,展平取 top-k
  3. 用整除和取余还原来源候选与新 token,并按来源索引重排 KV Cache
  4. 遇到结束符移入完成列表停止扩展;达到最大长度或无法超过已完成最优分数时终止
  5. 最终按长度归一化分数排序,避免偏好短序列;每步代价约为 k 路前向加 k×V 的 top-k

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题