面试题库 › 算法 / 大模型 › 真实约束下如何权衡 PPO 与 DPO

真实约束下如何权衡 PPO 与 DPO

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

常见岗位:大模型算法

答案要点

  1. PPO:需奖励模型与在线采样,同时维护策略、价值、奖励、参考模型,成本和调参难度高
  2. DPO:用偏好对离线训练,只需策略和参考模型,稳定、省资源
  3. 资源紧、已有高质量偏好数据时倾向 DPO;有可靠奖励、追求上限时倾向在线 RL
  4. 可验证奖励任务常用 GRPO 等省去价值模型的方法降低成本
  5. 折中:迭代式或在线 DPO,用当前策略采样重新构造偏好对

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题