On-Policy 蒸馏中的正向与反向 KL
哪些公司问过
答案要点
- 正向 KL(p||q) 按教师分布期望,mode-covering,学生倾向覆盖所有模式
- 反向 KL(q||p) 按学生分布期望,mode-seeking,生成更集中但多样性下降
- OPD:学生自采样轨迹,教师逐 token 给出概率,学生最小化逐 token 反向 KL
- 动机:缓解离线蒸馏的训练推理分布不一致(exposure bias)和误差累积
- 相比结果奖励 RL,逐 token 的教师信号更稠密,样本效率更高
易错点
- 把正反向 KL 的期望分布写反
- 认为 OPD 和离线蒸馏只是数据来源不同,忽略其解决分布偏移的核心动机
- 说反向 KL 会覆盖所有模式,实际是倾向寻找单一主模式
面试官常见追问
- 为什么数据筛选时不用学生的错误轨迹?
- 过程奖励和结果奖励的本质区别?过程奖励信号从哪来?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。