Prefill 与 Decode 瓶颈及 Chunked Prefill
哪些公司问过
答案要点
- Roofline:性能受算力峰值或内存带宽限制,取决于计算强度
- Prefill 并行处理整个 prompt,计算密集,偏算力受限
- Decode 逐 token 生成,需反复读权重与 KV,偏带宽受限
- Decode 优化:增大批量、量化、GQA 减少 KV、投机解码
- Chunked prefill 把长 prompt 分块,KV 逐块追加,并与 decode 混合批处理
易错点
- 把 decode 说成计算受限
- 以为 prompt token 有依赖就不能并行
- chunked prefill 只讲切块,不讲与 decode 混合调度
面试官常见追问
- prompt 内的 token 有依赖吗,能并行吗?
- 有办法加快 prefill 的 KV 生成吗?
- chunked prefill 有什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。