XGBoost 能否用于特征选择或特征构造
哪些公司问过
答案要点
- XGBoost 每棵树拟合损失的负梯度并用二阶信息,残差只是平方损失下的特例,可做分类、排序
- 特征选择:用 weight、gain、cover 等重要性口径筛选特征,口径不同结果可能差别较大
- SHAP 值比内置重要性更一致,XGBoost 预测时可直接输出每个特征的贡献
- 特征构造:取样本在各棵树的叶子索引,one-hot 后输入 LR,即 GBDT 加 LR,相当于自动特征交叉
- 较新版本可直接处理类别特征,无需全部手动 one-hot
易错点
- 以为 XGBoost 只能做回归拟合残差,不了解它拟合的是负梯度
- 只看 weight 重要性做特征选择,忽略其偏向高基数特征
- GBDT 加 LR 中直接用叶子输出值而不是叶子编号 one-hot 当特征
- 相关特征分摊重要性时误删有用特征
面试官常见追问
- weight、gain、cover 这几种重要性该看哪个?
- GBDT 加 LR 为什么有效?
- 用树模型重要性做特征选择有什么坑?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。