面试题库 › 算法 / 大模型 › 小模型低时延部署如何优化 Prefill 阶段

小模型低时延部署如何优化 Prefill 阶段

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

快手1

常见岗位:推理部署与加速

答案要点

  1. 指标拆分:TTFT 约等于排队加 prefill,每 token 时延由 decode 决定,先定位瓶颈再优化
  2. prefill 计算密集,耗时随输入长度增长,长输入时注意力为平方复杂度
  3. 少算:前缀缓存复用公共前缀的 KV Cache,压缩 prompt 长度
  4. 算得快:FlashAttention 等融合 kernel,FP8 或 W8A8 量化提升矩阵乘吞吐;CUDA Graph 主要降低 decode 的 kernel 启动开销
  5. 调度:chunked prefill 混合调度、限制 batch、必要时 prefill 与 decode 分离部署

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题