SFT、蒸馏与 RL(GRPO)的选型依据
哪些公司问过
答案要点
- SFT:模仿示范数据,适合冷启动、格式对齐和注入领域知识,依赖标注质量
- 蒸馏:用强模型输出训练小模型,适合压缩成本与部署
- RL:适合有可验证或可评判奖励的任务,能优化不可微的正确性目标
- GRPO:组内采样,优势 = (r_i − 组均值)/组标准差,无需价值网络
- 偏好对齐方法:RLHF(PPO)、DPO、拒绝采样微调等,常见流程为先 SFT 再 RL
易错点
- 说 GRPO 完全不需要奖励模型:它省掉的是价值网络,奖励可以来自规则或奖励模型
- 把蒸馏和 SFT 对立:很多蒸馏就是用教师数据做 SFT
- 以为 RL 一定比 SFT 好:没有可靠奖励时 RL 容易出现奖励作弊
面试官常见追问
- GRPO 的 loss 怎么写?KL 和 PPO 的一样吗?
- 重要性采样是什么,为什么需要?
- PPO 和 GRPO 是 on-policy 还是 off-policy?
- GRPO 训练时观察哪些指标?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。