如何评测一个已有的 RAG 服务
哪些公司问过
游戏厂1
答案要点
- 评测集来源:真实日志抽样加从文档生成问答对,人工校对
- 检索层:召回率、命中率、MRR
- 生成层:忠实度、答案相关性、正确性
- 打分:LLM-as-judge 加人工抽检校准
- 工程指标:延迟、成本、无答案时的拒答
易错点
- 只看最终答案,不拆检索和生成,定位不到问题
- 评测集全由模型生成,不经人工校对
- LLM 打分不做人工校准就直接采信
面试官常见追问
- 黑盒情况下怎么准备 case、怎么打分?
- 怎么从文档里抽 case?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。