vLLM 的调度队列与 Continuous Batching 实现
哪些公司问过
答案要点
- 迭代级调度:每步解码后移出完成序列、加入新请求,避免静态批处理的等待浪费
- 队列:waiting 存新请求和被抢占请求,running 存解码中请求,早期版本另有 swapped
- 每步按 token 预算和可用 KV 块组批,显存不足时抢占并重算或换出
- PagedAttention 分块管理 KV cache,是动态组批的基础
- 高并发、长度差异大的在线场景收益明显,低并发或长度整齐时收益有限
易错点
- 把 Continuous Batching 理解为请求级动态批,忽略它是按迭代步调度
- 以为队列结构在各版本完全一致,V0 与 V1 调度器实现有差异
- 只看吞吐不看延迟,批太大会拉高逐 token 延迟
面试官常见追问
- Chunked prefill 解决什么问题?
- 抢占时重算和换出怎么取舍?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。