面试题库 › 算法 / 大模型 › 对比学习与 DPO 的异同

对比学习与 DPO 的异同

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

蚂蚁集团1

常见岗位:大模型算法

答案要点

  1. 对比学习:在表示空间拉近正样本对、推远负样本对,常用 InfoNCE 损失
  2. DPO 源自 RLHF:由 KL 约束的奖励最大化推出,奖励可用策略与参考模型的对数概率比表示
  3. DPO 损失为 −log σ(β·[log π(y_w)/π_ref(y_w) − log π(y_l)/π_ref(y_l)]),基于 Bradley-Terry 模型
  4. 相同点:都依赖成对比较,提高正例的相对分数、压低负例
  5. 不同点:对比学习优化表示相似度;DPO 优化序列生成概率,且受参考模型约束

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题