面试题库 › 算法 / 大模型 › Prefill 与 Decode 瓶颈及 Chunked Prefill

Prefill 与 Decode 瓶颈及 Chunked Prefill

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

快手1卓驭1

常见岗位:推理部署与加速

答案要点

  1. Roofline:性能受算力峰值或内存带宽限制,取决于计算强度
  2. Prefill 并行处理整个 prompt,计算密集,偏算力受限
  3. Decode 逐 token 生成,需反复读权重与 KV,偏带宽受限
  4. Decode 优化:增大批量、量化、GQA 减少 KV、投机解码
  5. Chunked prefill 把长 prompt 分块,KV 逐块追加,并与 decode 混合批处理

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题