用 Python 实现梯度下降
哪些公司问过
答案要点
- 更新公式:w = w - lr * grad,偏置 b 同理
- 线性回归 MSE 的梯度:dw = 2/n · X^T(Xw + b - y),db = 2/n · sum(Xw + b - y)
- 用 numpy 向量化计算,外层只循环迭代轮数,停止条件为最大轮数或损失/梯度变化小于阈值
- 学习率过大震荡发散、过小收敛慢;特征标准化可加快收敛
- 批量、随机、小批量梯度下降的区别,小批量每轮先打乱数据;每轮复杂度 O(n·d)
易错点
- 先更新 w 再用新 w 算 b 的梯度,应使用同一轮的梯度同时更新
- 忘记对梯度除以样本数,导致学习率对数据量敏感
- 用 Python 循环逐个样本计算,速度慢且易出错
面试官常见追问
- 怎么验证梯度写对了?
- 如何改成逻辑回归?
- 动量法和 Adam 相比普通梯度下降改进了什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。