面试题库 › 算法 / 大模型 › 大模型应用响应慢,系统耗时层面可以做哪些优化?

大模型应用响应慢,系统耗时层面可以做哪些优化?

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:性能优化与压测

哪些公司问过

蚂蚁集团1蚂蚁国际1

常见岗位:人工智能、大模型算法

答案要点

  1. 先埋点拆解耗时:排队、前置处理、首Token时间、生成、后处理
  2. 流式输出降低感知延迟,以首Token时间为核心指标
  3. 压缩上下文、限制输出长度,并行与异步化互不依赖的步骤
  4. 结果缓存、前缀缓存,以及大小模型路由
  5. 自部署时用推理框架、量化、连续批处理,并用优化前后分位耗时对比验证

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题