面试题库 › 算法 / 大模型 › 为什么 SFT 之后还要做 RLHF/DPO

为什么 SFT 之后还要做 RLHF/DPO

难度 ★★☆在 5 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动2拼多多1MiniMax1

常见岗位:大模型算法

答案要点

  1. SFT 是正例上的最大似然模仿,缺少对错误回答的负反馈
  2. RL 能优化序列级、不可微的奖励,并通过在线采样探索示范数据之外的解法
  3. DPO 用偏好对直接优化策略,无需单独训练奖励模型,实现简单、训练稳定
  4. SFT 提供格式和基础能力,是 RL 探索的起点;起点太差奖励信号会过于稀疏
  5. 切入 RL 的时机:格式稳定、目标任务有一定通过率,且 SFT 没有训到多样性塌缩

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题