对比学习与 DPO 的异同
哪些公司问过
答案要点
- 对比学习:在表示空间拉近正样本对、推远负样本对,常用 InfoNCE 损失
- DPO 源自 RLHF:由 KL 约束的奖励最大化推出,奖励可用策略与参考模型的对数概率比表示
- DPO 损失为 −log σ(β·[log π(y_w)/π_ref(y_w) − log π(y_l)/π_ref(y_l)]),基于 Bradley-Terry 模型
- 相同点:都依赖成对比较,提高正例的相对分数、压低负例
- 不同点:对比学习优化表示相似度;DPO 优化序列生成概率,且受参考模型约束
易错点
- 因为都用正负样本,就把 DPO 直接归为对比学习
- 忽略 DPO 中参考模型的作用
- 把 InfoNCE 的批内负样本和 DPO 的偏好对混为一谈
面试官常见追问
- DPO 中 β 的作用是什么?
- DPO 相比 PPO 版 RLHF 有什么优缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。