高并发低延迟的 LLM 服务部署与优化
哪些公司问过
答案要点
- 延迟拆解:首 token 由 prefill 决定,后续 token 由 decode 访存决定,总时长随输出长度增加
- 引擎层:连续批处理、分页 KV Cache、前缀缓存、投机解码
- 模型层:量化、小模型或蒸馏模型处理简单请求的分级路由
- 请求层:压缩 prompt、限制输出、结果缓存或语义缓存、流式输出
- 容量规划按并发 = QPS × 延迟估算并压测;配超时、限流、熔断、降级
易错点
- 只关注模型本身,忽视输入长度和输出长度对延迟的影响
- 盲目增大 batch 提升吞吐,导致单请求延迟超标
- 不设超时和熔断,慢请求拖垮整个服务
面试官常见追问
- 如何做缓存?
- 推理突然从 200ms 变成 2s,怎么降级?
- 怎么防止级联故障?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。