大模型推理的 PD 分离(Prefill/Decode 分离)
哪些公司问过
答案要点
- Prefill并行处理整段prompt、生成KV Cache和首token,计算密集,影响TTFT
- Decode逐token生成,每步读取权重和KV Cache,访存密集,影响TPOT
- 混部时prefill会打断decode,两阶段最优并行策略和batch也不同,互相干扰
- 分离后KV Cache从prefill实例传到decode实例,两池可独立扩缩容和配置
- 挑战:KV Cache传输带宽与延迟、两池配比与调度、KV Cache存储与复用管理
易错点
- 把Prefill说成访存密集、Decode说成计算密集,方向搞反
- 忽略KV Cache跨实例传输这一核心代价
- 把PD分离和模型并行(张量并行、流水线并行)混为一谈
面试官常见追问
- PD分离和chunked prefill有什么区别?
- KV Cache传输开销怎么降低?
- 什么场景下PD分离收益不明显?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。