面试题库 › 算法 / 大模型 › GBDT 原理推导与 XGBoost 公式

GBDT 原理推导与 XGBoost 公式

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:树模型与集成学习

哪些公司问过

腾讯1美团1网易1

常见岗位:机器学习算法(泛)、推荐搜索广告

答案要点

  1. GBDT 是加法模型与前向分步,每棵树拟合损失的负梯度
  2. 平方损失下负梯度即残差,本质是函数空间梯度下降
  3. 基学习器是 CART 回归树;回归用平方或 Huber,分类用对数损失或 softmax
  4. XGBoost 目标=损失+γT+½λΣw²,二阶泰勒展开用 g、h
  5. 叶子权重 w*=−G/(H+λ),按 G²/(H+λ) 计算分裂增益并减 γ

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题