最小二乘法的原理与求解
哪些公司问过
答案要点
- 目标:最小化残差平方和 Σ(y_i − ŷ_i)²
- 闭式解 w = (X^T X)^-1 X^T y,来自正规方程 X^T X w = X^T y
- 几何解释:y 在 X 列空间上的正交投影,残差与特征列正交
- 高斯噪声假设下等价于极大似然;高斯-马尔可夫条件下是最优线性无偏估计
- 数值求解常用 QR、SVD 或梯度下降,病态时加 L2 正则(岭回归)
易错点
- 把最小二乘和线性回归完全等同,它也可用于非线性模型的拟合(非线性最小二乘)
- 实现时直接对 X^T X 求逆,忽略数值稳定性问题
- 忘了平方损失对异常值敏感,异常点会显著拉偏拟合结果
面试官常见追问
- X^T X 不可逆怎么办?
- 为什么用平方而不是绝对值?
- 数据量很大时怎么求解?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。