向量与矩阵范数对变量求偏导
哪些公司问过
答案要点
- L2:∇‖x‖₂ = x/‖x‖₂(x≠0);平方 ∇‖x‖₂² = 2x,处处可导
- L1:∇‖x‖₁ = sign(x),分量为0处不可导,次梯度取 [−1,1],对应稀疏性
- Frobenius:∇‖X‖_F = X/‖X‖_F,平方形式为 2X
- 常用组合:∇‖Ax−b‖₂² = 2Aᵀ(Ax−b);Lp 偏导 sign(xᵢ)|xᵢ|^(p−1)/‖x‖ₚ^(p−1)
- 谱范数梯度 u₁v₁ᵀ(最大奇异值唯一时),核范数满秩时为 UVᵀ
易错点
- 把 ‖x‖₂ 和 ‖x‖₂² 的梯度混淆,前者是 x/‖x‖₂,后者是 2x
- 忽略 L2 范数在原点、L1 在分量为0处不可导
- 矩阵求导时转置位置写错,如把 2Aᵀ(Ax−b) 写成 2(Ax−b)A
面试官常见追问
- 为什么正则项常用 L2 范数的平方而不是 L2 范数本身?
- L1 正则在 0 点不可导,实际怎么优化?
- 无穷范数的梯度是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。