RAG 答案相关性偏低时如何定位问题
哪些公司问过
答案要点
- 评测集:问题、标准答案、标注的相关文档或片段,覆盖典型问题与难例
- 分段定位:先看召回 top-k 是否含答案片段(Recall@K、MRR),区分检索问题与生成问题
- 检索侧排查:文档解析、分块粒度、embedding 模型、查询改写、混合检索与重排
- 生成侧排查:上下文长度与片段顺序、提示词约束、模型能力,用忠实度与答案相关性衡量
- 坏例归因:按原因分类统计,优先解决占比最高的问题
易错点
- 只看最终答案分数,不区分检索与生成,盲目调参
- 评测集只有问题和答案,没有标注相关片段,无法定位检索环节
- 用大模型评委打分却不校验它与人工判断的一致性
面试官常见追问
- 答案相关性一般怎么打分?
- 召回里有答案,模型还是答偏了,怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。