面试题库 › 算法 / 大模型 › SFT、蒸馏与 RL(GRPO)的选型依据

SFT、蒸馏与 RL(GRPO)的选型依据

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:监督微调

哪些公司问过

阿里巴巴2

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. SFT:模仿示范数据,适合冷启动、格式对齐和注入领域知识,依赖标注质量
  2. 蒸馏:用强模型输出训练小模型,适合压缩成本与部署
  3. RL:适合有可验证或可评判奖励的任务,能优化不可微的正确性目标
  4. GRPO:组内采样,优势 = (r_i − 组均值)/组标准差,无需价值网络
  5. 偏好对齐方法:RLHF(PPO)、DPO、拒绝采样微调等,常见流程为先 SFT 再 RL

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题