反向传播、梯度与梯度下降原理
哪些公司问过
答案要点
- 梯度是偏导数组成的向量,指向函数增长最快的方向
- 方向导数等于梯度与方向的点积,负梯度方向下降最快
- 一阶泰勒展开说明小步长沿负梯度更新可使损失下降
- 训练流程:前向计算并缓存、反向链式求导、优化器更新参数
易错点
- 把梯度说成标量,它是向量
- 以为负梯度方向走多大步都能下降,只在步长足够小时成立
- 混淆反向传播与梯度下降,前者算梯度,后者用梯度更新参数
面试官常见追问
- 三维空间里的梯度怎么画?
- 学习率太大或太小会怎样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。