大模型训练流程:预训练、SFT、RLHF
哪些公司问过
答案要点
- 预训练:海量无标注文本做下一个 token 预测,所有 token 都算损失
- SFT:指令与回答对做监督微调,只计算回答部分的损失,mask 掉 prompt
- SFT 不算 prompt 损失:prompt 是条件而非目标,算了会误导梯度
- RLHF:先训练奖励模型,再用 PPO 优化策略,并用 KL 惩罚约束偏离
- DPO 无需单独奖励模型,更简单;PPO 对复杂偏好更灵活但流程复杂
易错点
- SFT 把 prompt 部分也算入损失
- 认为 RLHF 不需要参考模型约束
- 把预训练和 SFT 的目标混为一谈
- 不清楚 DPO 与 PPO 的差异
面试官常见追问
- 为什么 RLHF 要加 KL 惩罚?
- 奖励模型是怎么训练的?
- DPO 的原理是什么?
- 预训练和 SFT 的数据有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。