连续批处理中新请求 Prefill 会不会抢占 Decode
哪些公司问过
答案要点
- prefill 优先调度时,新请求 prefill 的那一步 decode 请求暂停出 token,造成时延尖峰,但不会被移出
- 接纳新请求前检查 KV Cache 空闲块,不够就继续排队
- 抢占发生在运行中请求无法分配新 KV 块时,牺牲最晚到达的请求,之后用重计算或换出恢复
- chunked prefill:decode 优先,剩余 token 预算放 prefill 分块,混合成一个 batch
- prefill 与 decode 分离部署从架构上消除两阶段互相干扰
易错点
- 把 decode 被暂停一步说成被踢掉,两者对显存和恢复代价完全不同
- 以为抢占由新请求直接触发,实际主要发生在运行中请求分配不到 KV 块时
- 认为 chunked prefill 让所有指标都变好,长 prompt 的 TTFT 可能变差
面试官常见追问
- prefill 与 decode 能否混合调度?
- 抢占后用重计算还是换出更好?
- prefill 和 decode 分离部署解决什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。