面试题库 › 算法 / 大模型 › 高并发低延迟的 LLM 服务部署与优化

高并发低延迟的 LLM 服务部署与优化

难度 ★★★在 5 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

阿里巴巴1携程1蚂蚁集团1

常见岗位:大模型算法、AI 应用 / Agent 开发、NLP / 语音

答案要点

  1. 延迟拆解:首 token 由 prefill 决定,后续 token 由 decode 访存决定,总时长随输出长度增加
  2. 引擎层:连续批处理、分页 KV Cache、前缀缓存、投机解码
  3. 模型层:量化、小模型或蒸馏模型处理简单请求的分级路由
  4. 请求层:压缩 prompt、限制输出、结果缓存或语义缓存、流式输出
  5. 容量规划按并发 = QPS × 延迟估算并压测;配超时、限流、熔断、降级

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题