继续预训练、SFT、DPO/RLHF、RLVR 各自优化什么
答案要点
- 继续预训练:无标注领域语料上的下一 token 预测,优化领域分布似然,注入知识,需防灾难性遗忘
- SFT:指令-回答对上的交叉熵,通常屏蔽提示部分损失,学指令遵循、格式和风格
- RLHF:偏好数据训练奖励模型,再用 PPO 等最大化奖励减 KL 惩罚,优化人类偏好
- DPO:直接在偏好对上优化策略相对参考模型的对数概率比,无需显式奖励模型和在线采样
- RLVR:奖励由可验证规则给出,如答案对错、单测通过,优化结果正确性,多用于推理任务
易错点
- 把 SFT 和继续预训练混为一谈,忽略两者数据形态和损失计算范围的差别
- 以为 DPO 不需要参考模型,实际损失里显式依赖参考模型
- 认为 RLVR 适合所有任务,开放式写作等难以验证的任务并不适用
面试官常见追问
- DPO 和 RLHF 相比有什么优缺点?
- 为什么这些阶段都要加 KL 约束或参考模型?
- RLVR 会不会有奖励作弊?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。