面试题库 › 算法 / 大模型 › RLHF-PPO 的四个模型分工、损失与 KL 约束

RLHF-PPO 的四个模型分工、损失与 KL 约束

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动2商汤1

常见岗位:大模型算法

答案要点

  1. 四个模型:Actor(训练)、Reference(冻结,算 KL)、Reward Model(冻结,打分)、Critic(训练,估计价值)
  2. 奖励模型用偏好对训练,损失为 −log σ(r_好 − r_差)
  3. 奖励中加入与参考模型的逐 token KL 惩罚,防止偏离和奖励投机
  4. 用 GAE 计算优势;Actor 用 clip 替代目标,Critic 用 MSE 价值损失
  5. 显存开销大,常用多卡加 ZeRO 等策略,具体配置按项目如实说明

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题