Continuous Batching(连续批处理)
哪些公司问过
快手1机器人厂1
答案要点
- 静态批处理要等整批结束,先完成的请求空等,GPU 利用率低
- 调度粒度从请求降到迭代:每步结束后移出完成的请求,立刻加入新请求
- 批次始终保持满,吞吐显著提升,请求等待更短
- 需配合 PagedAttention 按块管理 KV 缓存,避免碎片
- 处理预填充与解码的混合调度,如分块预填充;vLLM 等框架采用
易错点
- 把连续批处理说成只是增大批大小
- 不提迭代级调度
- 忽略 KV 缓存管理的配合
面试官常见追问
- PagedAttention 在这里起什么作用?
- 什么是分块预填充?
- 连续批处理有什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。