GBDT 原理推导与 XGBoost 公式
哪些公司问过
答案要点
- GBDT 是加法模型与前向分步,每棵树拟合损失的负梯度
- 平方损失下负梯度即残差,本质是函数空间梯度下降
- 基学习器是 CART 回归树;回归用平方或 Huber,分类用对数损失或 softmax
- XGBoost 目标=损失+γT+½λΣw²,二阶泰勒展开用 g、h
- 叶子权重 w*=−G/(H+λ),按 G²/(H+λ) 计算分裂增益并减 γ
易错点
- 说 GBDT 分类时用分类树
- 认为 GBDT 只能拟合残差,忽略一般损失下的负梯度
- XGBoost 叶子权重公式漏掉 λ
面试官常见追问
- 为什么是残差,和负梯度什么关系?
- GBDT 适用什么场景?
- XGBoost 相对 GBDT 有哪些改进?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。