面试题库 › 算法 / 大模型 › DPO 偏好数据对的构建与质量控制

DPO 偏好数据对的构建与质量控制

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

蚂蚁集团1百川智能1

常见岗位:大模型算法

答案要点

  1. 基本单元:同一 prompt 下 chosen 与 rejected 两条回答,质量差距明确
  2. 模型自主产出:多次采样后由奖励模型、规则或强模型打分配对,成本低、接近 on-policy,但有打分噪声
  3. 人工标注:质量高、能处理细微判断,但成本高、规模受限,需要规范与一致性检验
  4. 常见混合方案:人工种子数据校验打分器,模型生成大规模扩充
  5. 质量控制:过滤差距过小或两者皆差的对,控制长度偏差,避免学到长度捷径

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题