KL 散度的含义与在对齐中的作用
哪些公司问过
答案要点
- KL 散度衡量两个概率分布的差异:D(P||Q)=ΣP(x)log(P(x)/Q(x)),连续则为积分
- 性质:非负,当且仅当 P=Q 时为 0,不对称,不是严格的距离
- 含义:用 Q 近似 P 时额外付出的信息量
- RLHF 中作为约束,防止策略偏离参考模型太远,避免奖励 hacking 和语言退化
- 也用于变分推断、VAE、知识蒸馏;DPO 目标隐含 KL 约束
易错点
- 把 KL 散度说成距离,忘了不对称
- 忘了写公式里的方向
- 说不清 RLHF 中为什么需要 KL 约束
- 混淆 KL 散度和交叉熵
面试官常见追问
- KL 散度为什么不对称,正向和反向有什么区别?
- KL 散度和交叉熵有什么关系?
- RLHF 里 KL 系数怎么调?
- 除了 KL,还有哪些衡量分布差异的指标?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。