一阶泰勒展开及其在优化中的应用
答案要点
- 一阶展开:f(x+Δ) ≈ f(x) + ∇f(x)ᵀΔ,只在 Δ 很小时准确
- 步长固定时负梯度方向使一阶项最小,由此推出梯度下降
- Δ = -η∇f 时函数值近似减少 η‖∇f‖²
- 步长过大线性近似失效;梯度 L-Lipschitz 时学习率不超过 1/L 可保证下降
- 保留二阶项得牛顿法;XGBoost 用二阶展开,GBDT 用一阶梯度
易错点
- 忘记一阶近似只在局部成立,步长过大时结论失效
- 把梯度方向说成下降方向,下降应取负梯度
- 混淆 GBDT 一阶和 XGBoost 二阶的区别
面试官常见追问
- 为什么负梯度方向是下降最快的方向?
- 牛顿法相比梯度下降的优缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。