面试题库 › 算法 / 大模型 › Continuous Batching(连续批处理)

Continuous Batching(连续批处理)

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

快手1机器人厂1

常见岗位:推理部署与加速

答案要点

  1. 静态批处理要等整批结束,先完成的请求空等,GPU 利用率低
  2. 调度粒度从请求降到迭代:每步结束后移出完成的请求,立刻加入新请求
  3. 批次始终保持满,吞吐显著提升,请求等待更短
  4. 需配合 PagedAttention 按块管理 KV 缓存,避免碎片
  5. 处理预填充与解码的混合调度,如分块预填充;vLLM 等框架采用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题