RAG 系统的评测维度与指标
哪些公司问过
蚂蚁集团1AI Agent 面试通用题库1
答案要点
- 检索指标:Recall@k、MRR、NDCG、命中率,需要标注相关文档
- 生成指标:忠实度(衡量幻觉)、答案相关性、答案正确性
- Ragas 核心指标:faithfulness、answer relevancy、context precision、context recall
- 用 LLM-as-judge 自动评估并抽样人工校准;部分指标需要参考答案
- 按环节定位问题:先查检索召回,再查生成对上下文的利用
易错点
- 只看最终答案好坏,不分开评估检索和生成
- 完全信任 LLM 评判结果,不做人工抽样校准
- 评测集和真实用户问题分布差异大
面试官常见追问
- Answer Relevance 偏低时,如何区分是检索还是模型的问题?
- 文档分块策略怎么设计?
- 除了人工打分,还有哪些自动化方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。