PPO、DPO、GRPO、DAPO 等强化学习对齐算法
哪些公司问过
答案要点
- PPO:clip 限制更新幅度;需要策略、参考、奖励、价值四个模型
- DPO:直接用偏好对优化策略,不训练显式奖励模型,不做 RL 采样;需要策略和参考模型
- GRPO:同一问题采样一组回答,用组内奖励均值和标准差归一化得到优势,去掉价值模型
- DAPO:Clip-Higher 提高裁剪上界、动态采样过滤全对全错组、token 级损失、超长奖励整形
- PPO 需四个模型;DPO 离线,只需策略和参考模型;GRPO 去掉价值模型,是在线 RL
易错点
- 说 DPO 也需要奖励模型和价值模型
- 分不清 GRPO 去掉的是价值模型,而不是奖励信号
- 说不清 clip 的作用
- 只背算法名称,说不出各自的模型数量和动机
面试官常见追问
- 为什么 GRPO 可以去掉价值模型?
- DPO 的损失函数是什么?
- PPO 里的 clip 有什么作用?
- DPO 和 PPO 各有什么优缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。