小模型低时延部署如何优化 Prefill 阶段
哪些公司问过
答案要点
- 指标拆分:TTFT 约等于排队加 prefill,每 token 时延由 decode 决定,先定位瓶颈再优化
- prefill 计算密集,耗时随输入长度增长,长输入时注意力为平方复杂度
- 少算:前缀缓存复用公共前缀的 KV Cache,压缩 prompt 长度
- 算得快:FlashAttention 等融合 kernel,FP8 或 W8A8 量化提升矩阵乘吞吐;CUDA Graph 主要降低 decode 的 kernel 启动开销
- 调度:chunked prefill 混合调度、限制 batch、必要时 prefill 与 decode 分离部署
易错点
- 只盯 decode 速度,忽略首 token 时延主要由 prefill 和排队决定
- 以为只量化权重的 INT4/INT8 能显著加速 prefill,它主要缓解 decode 的带宽瓶颈
- 把时间戳等变动内容放在 prompt 开头,导致前缀缓存几乎命中不了
- 只看平均时延,不看 P99
面试官常见追问
- prefill 和 decode 的瓶颈有什么不同?
- chunked prefill 对 TTFT 有什么影响?
- 小模型单卡放得下,还要用张量并行吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。