为什么 SFT 之后还要做 RLHF/DPO
哪些公司问过
答案要点
- SFT 是正例上的最大似然模仿,缺少对错误回答的负反馈
- RL 能优化序列级、不可微的奖励,并通过在线采样探索示范数据之外的解法
- DPO 用偏好对直接优化策略,无需单独训练奖励模型,实现简单、训练稳定
- SFT 提供格式和基础能力,是 RL 探索的起点;起点太差奖励信号会过于稀疏
- 切入 RL 的时机:格式稳定、目标任务有一定通过率,且 SFT 没有训到多样性塌缩
易错点
- 认为 SFT 数据足够好就不需要对齐,忽略了 SFT 缺少负反馈和序列级优化
- 把标准 DPO 说成在线采样的强化学习,实际它是基于离线偏好对的优化
- SFT 训练过度导致输出多样性下降,反而让 RL 难以探索
面试官常见追问
- SFT 训练到什么状态适合切入 RL?
- 为什么 RL 初期奖励值会短暂下跌,随后才稳步抬升?
- SFT 与 RL 数据集有什么区别,能复用吗?难样本怎么处理?
- GRPO、DAPO、GSPO 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。