牛顿法的原理与优缺点
哪些公司问过
答案要点
- 在当前点二阶泰勒展开,用二次函数近似并跳到其极小点
- 迭代公式:x 新 = x 旧 - 海森矩阵的逆 × 梯度
- 优点:在最优点附近二次收敛,迭代次数少,不用手调学习率
- 缺点:海森矩阵计算存储和求逆代价大,需要正定,远离最优点可能不收敛
- 工程上用拟牛顿法 BFGS 和 L-BFGS 近似海森矩阵
易错点
- 说成牛顿法只用一阶梯度
- 忽略海森矩阵的计算和求逆代价
- 忘了牛顿法对初值和海森矩阵正定性的要求
面试官常见追问
- XGBoost 用的是什么优化方法?
- 牛顿法和梯度下降相比有什么区别?
- 海森矩阵不正定怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。