投机解码的原理与常见方法
哪些公司问过
答案要点
- 自回归解码受限于显存访问,计算利用率低
- 草稿模型先猜多个 token,大模型一次前向并行验证
- 用接受规则保证输出分布与只用大模型一致
- 方法:小草稿模型、n-gram 或提示词查找、Lookahead、Medusa 多头、EAGLE
- 加速效果取决于候选 token 的接受率
易错点
- 说投机解码会降低生成质量
- 不提验证是并行的一次前向
- 忽略接受率对加速比的影响
面试官常见追问
- 为什么投机解码不改变输出分布?
- 接受率低会怎样?
- Medusa 和独立草稿模型有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。