面试题库 › 算法 / 大模型 › 一阶泰勒展开及其在优化中的应用

一阶泰勒展开及其在优化中的应用

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

常见岗位:NLP / 语音

答案要点

  1. 一阶展开:f(x+Δ) ≈ f(x) + ∇f(x)ᵀΔ,只在 Δ 很小时准确
  2. 步长固定时负梯度方向使一阶项最小,由此推出梯度下降
  3. Δ = -η∇f 时函数值近似减少 η‖∇f‖²
  4. 步长过大线性近似失效;梯度 L-Lipschitz 时学习率不超过 1/L 可保证下降
  5. 保留二阶项得牛顿法;XGBoost 用二阶展开,GBDT 用一阶梯度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题