机器学习中的正则化方法
哪些公司问过
阿里巴巴1今日头条1
答案要点
- 正则化限制模型复杂度,防止过拟合,提高泛化
- L1:权重绝对值之和,产生稀疏解,可做特征选择
- L2:权重平方和,让权重整体变小,不为 0,更平滑
- 其他:Dropout、早停、数据增强、批归一化、标签平滑
- 权重衰减在 SGD 下等价于 L2,Adam 下不等价,因此用 AdamW
易错点
- 说 L2 也能让权重变成 0
- 分不清 L1 和 L2 的先验和效果
- 只说正则项,不提 Dropout 和早停等方法
面试官常见追问
- L1 和 L2 正则有什么区别?
- 为什么 L1 容易产生稀疏解?
- Dropout 为什么能防止过拟合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。