大模型应用响应慢,系统耗时层面可以做哪些优化?
哪些公司问过
蚂蚁集团1蚂蚁国际1
答案要点
- 先埋点拆解耗时:排队、前置处理、首Token时间、生成、后处理
- 流式输出降低感知延迟,以首Token时间为核心指标
- 压缩上下文、限制输出长度,并行与异步化互不依赖的步骤
- 结果缓存、前缀缓存,以及大小模型路由
- 自部署时用推理框架、量化、连续批处理,并用优化前后分位耗时对比验证
易错点
- 不拆解耗时就直接换模型或加机器
- 只看平均耗时,不看P99和首Token时间
- 压缩上下文或换小模型后不评估回答质量
面试官常见追问
- 首Token时间和整体耗时分别受什么影响?
- 怎么证明优化是有效的?
- 语义缓存有什么风险?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。