在线策略蒸馏(OPD)的损失与设计思路
哪些公司问过
答案要点
- OPD:在线策略蒸馏,学生自己采样回答,教师逐 token 提供监督
- 损失以学生与教师分布的反向 KL 为核心,可视为逐 token 的负奖励
- 在学生自己会遇到的状态上训练,缓解训练与推理的分布偏移
- 相比强化学习,信号是稠密的逐 token,不是整条回答的稀疏奖励
- 可叠加任务损失,用权重和温度调节蒸馏强度
易错点
- 把 OPD 说成普通的离线蒸馏
- 分不清前向 KL 和反向 KL 的行为差异
- 不说明为什么要在学生自己的采样上训练
面试官常见追问
- 前向 KL 和反向 KL 有什么区别?
- 重要性采样在这里起什么作用?
- DAPO 为什么可以不加 KL 惩罚?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。