前向 KL 与反向 KL 散度的区别和适用场景
哪些公司问过
答案要点
- KL 不对称:前向 KL(p||q),反向 KL(q||p),p 为目标分布,q 为学习的分布
- 前向 KL 要求 q 覆盖 p 的全部支撑,倾向覆盖多个模式,容易过度分散
- 反向 KL 惩罚 q 在 p 低概率处有概率,倾向集中到单个模式(模式寻优)
- 最大似然等价于前向 KL;变分推断常用反向 KL
- RLHF 里用反向 KL 约束策略贴近参考模型
易错点
- 把前向和反向 KL 的行为说反
- 说 KL 散度是对称的
- 不知道最大似然对应前向 KL
面试官常见追问
- DAPO 为什么不需要额外的 KL 惩罚?
- GRPO 自带 KL 约束,后期提升变慢怎么优化?
- 为什么 RLHF 里用反向 KL?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。