面试题库 › 算法 / 大模型 › On-Policy 蒸馏中的正向与反向 KL

On-Policy 蒸馏中的正向与反向 KL

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

拼多多1阿里云1

常见岗位:推理部署与加速、大模型算法

答案要点

  1. 正向 KL(p||q) 按教师分布期望,mode-covering,学生倾向覆盖所有模式
  2. 反向 KL(q||p) 按学生分布期望,mode-seeking,生成更集中但多样性下降
  3. OPD:学生自采样轨迹,教师逐 token 给出概率,学生最小化逐 token 反向 KL
  4. 动机:缓解离线蒸馏的训练推理分布不一致(exposure bias)和误差累积
  5. 相比结果奖励 RL,逐 token 的教师信号更稠密,样本效率更高

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题