面试题库 › 算法 / 大模型 › 连续批处理中新请求 Prefill 会不会抢占 Decode

连续批处理中新请求 Prefill 会不会抢占 Decode

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

快手1

常见岗位:推理部署与加速

答案要点

  1. prefill 优先调度时,新请求 prefill 的那一步 decode 请求暂停出 token,造成时延尖峰,但不会被移出
  2. 接纳新请求前检查 KV Cache 空闲块,不够就继续排队
  3. 抢占发生在运行中请求无法分配新 KV 块时,牺牲最晚到达的请求,之后用重计算或换出恢复
  4. chunked prefill:decode 优先,剩余 token 预算放 prefill 分块,混合成一个 batch
  5. prefill 与 decode 分离部署从架构上消除两阶段互相干扰

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题