面试题库 › 算法 / 大模型 › 继续预训练、SFT、DPO/RLHF、RLVR 各自优化什么

继续预训练、SFT、DPO/RLHF、RLVR 各自优化什么

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 继续预训练:无标注领域语料上的下一 token 预测,优化领域分布似然,注入知识,需防灾难性遗忘
  2. SFT:指令-回答对上的交叉熵,通常屏蔽提示部分损失,学指令遵循、格式和风格
  3. RLHF:偏好数据训练奖励模型,再用 PPO 等最大化奖励减 KL 惩罚,优化人类偏好
  4. DPO:直接在偏好对上优化策略相对参考模型的对数概率比,无需显式奖励模型和在线采样
  5. RLVR:奖励由可验证规则给出,如答案对错、单测通过,优化结果正确性,多用于推理任务

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题