LLM 回答效果不好时如何分析指标并定位方案
哪些公司问过
agent1
答案要点
- 先建带标准答案的评测集,把问题拆到检索、生成、格式等环节,用数据定位而非凭感觉换模型
- 检索侧看召回率、Recall@K、MRR;生成侧看正确率、忠实度、答案相关性,以及格式遵循率、拒答率、延迟、成本
- 召回低:调整切分、换 embedding、混合检索加重排;检索对但答错:改 prompt、加引用约束、压缩上下文、换更强模型
- 格式问题用结构化输出和 few-shot,领域知识或风格不足再考虑微调
- 每次改动在同一评测集回归,并对坏例分类统计,按占比排优先级
易错点
- 效果不好就直接换模型或换 API,没定位是检索还是生成的问题
- 只看几个例子凭感觉调,没有固定评测集,改完无法判断是否真的变好
- 只看准确率,忽略忠实度、延迟、成本,上线后幻觉或费用失控
- 检索没找回正确文档时,花大量时间调 prompt
面试官常见追问
- 没有人工标注,忠实度这类指标怎么评?
- 什么情况下才值得换模型?
- 坏例分析具体怎么做?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。