面试题库 › 算法 / 大模型 › PPO、DPO、GRPO、DAPO 等强化学习对齐算法

PPO、DPO、GRPO、DAPO 等强化学习对齐算法

难度 ★★★在 69 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动20京东7腾讯6阿里巴巴6携程4华为3百度3小红书3美团2淘天2

常见岗位:大模型算法、AI 应用 / Agent 开发、NLP / 语音、人工智能、推荐搜索广告

答案要点

  1. PPO:clip 限制更新幅度;需要策略、参考、奖励、价值四个模型
  2. DPO:直接用偏好对优化策略,不训练显式奖励模型,不做 RL 采样;需要策略和参考模型
  3. GRPO:同一问题采样一组回答,用组内奖励均值和标准差归一化得到优势,去掉价值模型
  4. DAPO:Clip-Higher 提高裁剪上界、动态采样过滤全对全错组、token 级损失、超长奖励整形
  5. PPO 需四个模型;DPO 离线,只需策略和参考模型;GRPO 去掉价值模型,是在线 RL

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题