反向传播与常见优化器原理
哪些公司问过
答案要点
- 反向传播:链式法则从输出层逐层向前计算参数梯度
- SGD 沿负梯度更新,学习率固定,收敛慢且易震荡
- Momentum 累积历史梯度,加速收敛、减少震荡
- Adam 结合一阶矩和二阶矩,自适应学习率,带偏差修正
- AdamW 把权重衰减与梯度更新解耦;常用默认 lr=1e-3、β1=0.9、β2=0.999
易错点
- 把反向传播说成优化器
- 说不清 Adam 的两个矩
- 认为 Adam 一定优于 SGD
- 混淆 Adam 的 L2 正则与 AdamW 的权重衰减
面试官常见追问
- ReLU 不可导,反向传播怎么处理?
- Adam 和 AdamW 有什么区别?
- 牛顿法为什么很少用于深度学习?
- Adam 的偏差修正是做什么的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。