面试题库 › 算法 / 大模型 › DPO 的原理、损失函数与训练过程

DPO 的原理、损失函数与训练过程

难度 ★★★在 9 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动5华为1百度1网易1软通动力1

常见岗位:大模型算法、推荐搜索广告、NLP / 语音

答案要点

  1. 损失:-log σ(β·[log(πθ(yw|x)/πref(yw|x)) - log(πθ(yl|x)/πref(yl|x))])
  2. 由 RLHF 的 KL 约束目标推导,利用最优策略闭式解把奖励表示为策略与参考模型的对数比
  3. β 控制与参考模型的偏离程度,β 越大越保守
  4. 无需显式奖励模型和在线采样,训练流程接近 SFT,稳定且省资源
  5. 整体 loss 只取决于 chosen 与 rejected 的相对 margin,而非各自的绝对概率

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题