面试题库 › 算法 / 大模型 › 投机解码的原理与常见方法

投机解码的原理与常见方法

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

百度1

常见岗位:推理部署与加速、大模型算法

答案要点

  1. 自回归解码受限于显存访问,计算利用率低
  2. 草稿模型先猜多个 token,大模型一次前向并行验证
  3. 用接受规则保证输出分布与只用大模型一致
  4. 方法:小草稿模型、n-gram 或提示词查找、Lookahead、Medusa 多头、EAGLE
  5. 加速效果取决于候选 token 的接受率

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题