GBDT 与 XGBoost 的区别
哪些公司问过
答案要点
- GBDT:串行训练回归树,每棵树拟合损失的负梯度(平方损失即残差),结果相加
- XGBoost:对损失做二阶泰勒展开,同时用一阶、二阶导数,逼近更准、收敛更快
- 目标函数含正则项(叶子数、叶子权重 L2),控制复杂度防过拟合
- 工程优化:列采样、缩减、缺失值默认方向、自定义损失、特征并行找分裂点与直方图加速
- 并行指找分裂点时的特征并行,树之间仍是串行;LightGBM 用直方图、按叶子生长提速
易错点
- 说 XGBoost 的树之间是并行训练的
- 说不清二阶泰勒展开的作用
- 把 GBDT 的拟合目标说成拟合原始标签
- 忘了正则项与缺失值处理
面试官常见追问
- 为什么 XGBoost 要用二阶泰勒展开?
- XGBoost 是怎么并行的?
- LightGBM 和 XGBoost 有什么区别?
- GBDT 是怎么拟合残差的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。