面试题库 › 算法 / 大模型 › vLLM 的调度队列与 Continuous Batching 实现

vLLM 的调度队列与 Continuous Batching 实现

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

拼多多1淘天集团1

常见岗位:大模型算法

答案要点

  1. 迭代级调度:每步解码后移出完成序列、加入新请求,避免静态批处理的等待浪费
  2. 队列:waiting 存新请求和被抢占请求,running 存解码中请求,早期版本另有 swapped
  3. 每步按 token 预算和可用 KV 块组批,显存不足时抢占并重算或换出
  4. PagedAttention 分块管理 KV cache,是动态组批的基础
  5. 高并发、长度差异大的在线场景收益明显,低并发或长度整齐时收益有限

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题