真实约束下如何权衡 PPO 与 DPO
答案要点
- PPO:需奖励模型与在线采样,同时维护策略、价值、奖励、参考模型,成本和调参难度高
- DPO:用偏好对离线训练,只需策略和参考模型,稳定、省资源
- 资源紧、已有高质量偏好数据时倾向 DPO;有可靠奖励、追求上限时倾向在线 RL
- 可验证奖励任务常用 GRPO 等省去价值模型的方法降低成本
- 折中:迭代式或在线 DPO,用当前策略采样重新构造偏好对
易错点
- 只说 DPO 比 PPO 简单,不结合算力、数据、时间等具体约束给选择依据
- 忽略 DPO 的离线分布偏差问题
- 认为 PPO 一定更好,忽略奖励模型质量决定了上限
面试官常见追问
- DPO 有哪些常见问题?
- 为什么说 PPO 上限更高?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。