On-Policy Distillation(OPD)是什么
哪些公司问过
答案要点
- 学生自采样,教师对学生生成的序列逐 token 打分,常最小化反向 KL
- 相比离线蒸馏:数据分布随学生更新,缓解暴露偏差
- 相比 RL:同为在线采样,但信号是稠密逐 token 监督,样本效率通常更高
- 代表工作如 GKD,常用于大模型向小模型蒸馏推理能力
- 代价:在线采样与教师推理成本,需词表一致或额外对齐
易错点
- 把 OPD 和用教师生成数据做 SFT 的离线蒸馏混为一谈
- 忽视教师质量上限,教师在某领域弱时学生也学不好
- 教师与学生词表不一致时直接逐 token 对齐
面试官常见追问
- OPD 与普通 RL 训练是什么关系?
- OPD 与 DPO 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。