线上检索结果不准时如何定位问题
哪些公司问过
答案要点
- 全链路记录 query、改写结果、召回文档与分数、重排结果和回答,先收集可复现的坏例
- 先区分检索问题和生成问题:目标文档没召回是检索问题,召回了答错是生成问题
- 检查数据侧:文档是否入库、解析和切块是否合理、索引是否过期、过滤条件和权限是否误伤
- 区分召回与排序:在 top100 能找到但排名靠后调重排;完全召不回查 query 改写、嵌入模型、混合检索
- 建立标注评测集,用 recall@k、MRR、nDCG 等指标对比每次改动效果
易错点
- 一上来就换嵌入模型或调提示词,没先确认问题出在哪个环节
- 只看最终回答,不记录中间召回结果,导致无法定位
- 忽略数据侧问题,比如文档解析失败或索引未更新
- 没有评测集,凭几个例子判断改动是否有效
面试官常见追问
- 怎么判断是向量索引的近似检索丢了结果?
- 专有名词、型号编号检索不准怎么办?
- 切块大小对检索有什么影响?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。