信息增益、WOE 与 IV 的定义和计算
哪些公司问过
答案要点
- 信息增益 = H(D) − H(D|A),衡量特征带来的熵减,用于ID3选择分裂特征
- WOE_i = ln(第i箱坏样本占总坏样本比 / 第i箱好样本占总好样本比),需先分箱
- IV = Σ(坏占比_i − 好占比_i) × WOE_i,各项同号相乘,结果非负
- IV常见经验:<0.02无预测力,0.02–0.1弱,0.1–0.3中,>0.3强,过高需查数据泄漏
- WOE编码常配合逻辑回归评分卡使用,要求各箱WOE大致单调、可解释
易错点
- 把WOE的分子分母写成该箱内的坏样本率与好样本率,而不是占总体坏、好样本的比例
- IV的差值顺序和WOE中分子分母顺序不一致,导致出现负值
- IV越高越好:过高往往意味着标签泄漏或特征与目标定义重合
面试官常见追问
- WOE的定义是什么?好坏占比顺序反过来有影响吗?
- 某个箱里没有坏样本或好样本怎么办?
- 信息增益有什么缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。