如何定义 bad case 及制定判定标准
哪些公司问过
答案要点
- 定义:输出不符合业务目标或用户预期的样本
- 标准来自业务目标,与产品和业务方对齐
- 流程:收集样本、多人标注、讨论分歧、写规则、测一致性、迭代
- 分类分级:事实错误、指令不遵循、格式、安全合规、体验
- 按类统计占比并量化,修复后回归,持续扩充评测集
易错点
- 标准只凭个人主观判断
- 规则没有正反例,标注一致性低
- bad case 修完不回归,问题反复出现
面试官常见追问
- bad case 评估是自己做还是外包团队?
- 了解自动化的 LLM 评估方式吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。