SFT、IFT 与强化学习的区别
哪些公司问过
答案要点
- SFT:用标注的输入输出对做监督训练,目标是模仿参考答案
- IFT 是 SFT 的一种,数据是指令加回答,重点是遵循指令并泛化
- RL:用奖励信号优化,可直接优化偏好或可验证的结果,但奖励难设计、训练不稳定
- SFT 只有正例示范,缺少负反馈,难以表达偏好排序
- 常见流程:先 SFT 打基础,再用 RLHF 或 DPO 做对齐
易错点
- 把 IFT 当成和 SFT 完全不同的方法
- 说 SFT 一定比 RL 差
- 忽视 RL 需要奖励设计和稳定性问题
- 把 DPO 说成不需要任何偏好数据
面试官常见追问
- 为什么强化学习训练不稳定,业界还在用?
- DPO 的核心思想和问题是什么?
- PPO 和 DPO 怎么选?
- 为什么要微调,提示词不行吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。