客服对话的上线前评测与上线后回归体系设计
哪些公司问过
答案要点
- 数据集分上线前评测集与冻结的回归集,按真实意图分布覆盖高频,并补长尾和多轮样本
- 每条样本标注期望答案、依据知识和是否应转人工,便于自动判分
- 指标分回答层(准确率、幻觉率、拒答)、任务层(完成率)、体验层(转人工率、满意度)
- 红队集覆盖诱导幻觉、越权、提示注入、敏感话题,高危问题一票否决
- 任何模型、提示词、知识库变更都跑回归,指标不倒退才放行,再灰度验证
易错点
- 只测高频问答,忽略多轮对话和长尾问题
- 只看准确率,不评估幻觉、拒答和越权等安全项
- 回归集随意改动,导致版本间结果不可比
面试官常见追问
- LLM 当评审靠得住吗?
- 回归集会不会越来越大、越来越过时?
- 离线指标好但线上效果差怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。