DPO 的原理、损失函数与训练过程
哪些公司问过
答案要点
- 损失:-log σ(β·[log(πθ(yw|x)/πref(yw|x)) - log(πθ(yl|x)/πref(yl|x))])
- 由 RLHF 的 KL 约束目标推导,利用最优策略闭式解把奖励表示为策略与参考模型的对数比
- β 控制与参考模型的偏离程度,β 越大越保守
- 无需显式奖励模型和在线采样,训练流程接近 SFT,稳定且省资源
- 整体 loss 只取决于 chosen 与 rejected 的相对 margin,而非各自的绝对概率
易错点
- 把 DPO 损失写成只对 chosen 做最大似然,漏掉 rejected 和参考模型项
- 以为 DPO 不需要参考模型,实际参考模型提供了隐式 KL 约束
- 只看训练 loss 下降就认为对齐成功,不做下游评测
面试官常见追问
- GRPO 了解吗?
- 怎么判断 DPO 训练后模型效果变好了?
- chosen 的概率也在下降,有什么风险?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。