GBDT 的提出受到了哪些工作的启发
哪些公司问过
答案要点
- 原始论文:Friedman 2001,Greedy Function Approximation: A Gradient Boosting Machine
- 核心启发来自 AdaBoost 的统计解释:AdaBoost 等价于指数损失下的前向分步加法模型(Friedman、Hastie、Tibshirani 2000)
- Breiman 等人提出把 boosting 看作函数空间优化,GBDT 将其推广为函数空间梯度下降
- 每轮用回归树拟合负梯度(伪残差);平方损失下负梯度即残差,可适配任意可微损失
- Friedman 2002 年的随机梯度提升借鉴 bagging 思想引入样本子采样
易错点
- 说 GBDT 主要源于 bagging,bagging 只影响了后来的子采样改进
- 只说拟合残差,不提负梯度和可换损失函数
- 认为 GBDT 做分类时用分类树,实际上基学习器是回归树
面试官常见追问
- 为什么说 GBDT 拟合的是负梯度而不只是残差?
- GBDT 与 AdaBoost 的区别是什么?
- XGBoost 在 GBDT 上做了哪些改进?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。