内容安全评测集如何构建
哪些公司问过
答案要点
- 风险分类体系:依据法规与平台政策分大类和子类,各类样本量均衡
- 样本来源:线上日志脱敏抽样、人工构造、越狱和对抗样本
- 加入应正常回答的边界样本,衡量过度拒答
- 标注规范加多人一致性校验,分歧样本专家仲裁
- 定期更新攻击手法,保留不公开的保留集防止污染
易错点
- 只关注有害内容,忽略过度拒答
- 样本只有直白的违规问题,缺少对抗和多轮诱导
- 评测集公开或长期不更新,被污染或过时
面试官常见追问
- 怎么衡量安全和有用的平衡?
- 对抗样本怎么持续获取?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。