RLHF 是什么及其三阶段流程
哪些公司问过
答案要点
- RLHF让模型输出更符合人类偏好,经典流程来自InstructGPT
- 阶段一:SFT,用高质量指令数据微调
- 阶段二:基于人工排序的偏好对,用Bradley-Terry损失训练奖励模型
- 阶段三:PPO优化策略,奖励模型打分并加KL惩罚约束偏离
- 流程复杂成本高,DPO等方法直接用偏好数据优化
易错点
- 把SFT当成RLHF之外的独立步骤而遗漏它在流程中的位置
- 忽略KL惩罚的作用,说不清为什么要约束策略
- 以为PPO只需要策略和奖励模型,漏掉价值模型和参考模型
面试官常见追问
- 奖励模型是怎么训练的?
- LoRA微调的原理是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。