召回-重排-生成与单次生成的延迟质量权衡
哪些公司问过
答案要点
- 多阶段链路:召回保证覆盖、重排提升相关性、生成负责组织答案,精度高但延迟和成本更高
- 单次生成链路短、延迟低,但依赖模型自身知识,领域问题上容易幻觉
- 按场景选择:实时性强、容错高用短链路;知识密集、要求准确用召回加重排
- 优化手段:并行召回、控制重排候选数、轻量重排模型、语义缓存、流式输出、量化蒸馏
- 可做分级路由或混合架构,并用离线指标与线上P99延迟共同评估
易错点
- 只谈某一种架构好,不结合业务对延迟和准确性的要求
- 召回候选数和重排数量设得过大,延迟成倍增加却收益有限
- 只看平均延迟,忽略P99尾延迟和首字延迟
面试官常见追问
- 重排这一步太慢怎么办?
- 怎么判断该不该走完整链路?
- 缓存在这类系统里怎么用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。