RAG 未检索到目标 chunk 时如何判断回答可信
哪些公司问过
答案要点
- 提示词约束只依据资料作答,资料不足时明确拒答,并要求标注引用的 chunk
- 按重排或相似度分数设置门槛,整体低于阈值时拒答或转人工
- 生成后做忠实度校验:拆分陈述,用 NLI 或 LLM 裁判判断是否被上下文支持
- 离线评测分开度量检索召回和答案忠实度,定位问题出在检索还是生成
- 记录拒答与低置信查询,作为补充知识库和优化检索的依据
易错点
- 只看答案读起来是否通顺,不检查有无检索依据
- 只评估最终答案,不单独评估检索召回,无法定位问题环节
- 为提高覆盖率放宽阈值让模型硬答,把幻觉暴露给用户
面试官常见追问
- 那怎么提高答案的覆盖率?
- 用 LLM 做忠实度裁判靠谱吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。