DPO 偏好数据对的构建与质量控制
哪些公司问过
蚂蚁集团1百川智能1
答案要点
- 基本单元:同一 prompt 下 chosen 与 rejected 两条回答,质量差距明确
- 模型自主产出:多次采样后由奖励模型、规则或强模型打分配对,成本低、接近 on-policy,但有打分噪声
- 人工标注:质量高、能处理细微判断,但成本高、规模受限,需要规范与一致性检验
- 常见混合方案:人工种子数据校验打分器,模型生成大规模扩充
- 质量控制:过滤差距过小或两者皆差的对,控制长度偏差,避免学到长度捷径
易错点
- chosen 与 rejected 来自不同 prompt
- chosen 系统性地更长,导致模型学会堆长度
- 完全依赖自动打分器而不做人工抽检
面试官常见追问
- 为什么 on-policy 生成的偏好对效果更好?
- 如何衡量标注一致性?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。