经验风险与结构风险的区别
哪些公司问过
答案要点
- 经验风险:训练集平均损失 1/N·Σ L(y_i, f(x_i)),是期望风险的样本估计
- 只最小化经验风险在样本少、模型复杂时易过拟合
- 结构风险 = 经验风险 + λ·J(f),J 为 L1、L2 等复杂度惩罚
- 对数损失下经验风险最小化对应极大似然,加先验对应的正则后对应最大后验
- L2 对应高斯先验,L1 对应拉普拉斯先验;实际优化多为结构风险
易错点
- 把结构风险说成验证集上的损失
- 把结构风险最小化等同于极大似然,实际对应最大后验
- 正则系数 λ 越大越好,忽视欠拟合
面试官常见追问
- 期望风险为什么不能直接最小化?
- L1 和 L2 正则化效果有什么不同?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。