GBDT、XGBoost、LightGBM、CatBoost 的区别
哪些公司问过
答案要点
- GBDT:每棵树拟合前面模型的负梯度(残差的近似)
- XGBoost:二阶泰勒、正则项、缺失值处理,默认按层生长,2.0 起默认直方图算法
- LightGBM:直方图算法、leaf-wise 生长、GOSS 和 EFB,速度快、内存省
- CatBoost:有序目标编码处理类别特征,使用对称树,减少过拟合
- leaf-wise 容易过拟合,需限制深度和叶子数
易错点
- 把 GBDT 说成拟合原始标签
- 说 XGBoost 没有正则项
- 认为 leaf-wise 一定更好
- 忘了 CatBoost 针对类别特征的处理
面试官常见追问
- LightGBM 的 GOSS 和 EFB 是什么?
- XGBoost 和 LightGBM 主要区别是什么?
- 为什么 XGBoost 要用二阶泰勒展开?
- 怎么防止 GBDT 过拟合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。