模型超参数调优方法:网格搜索等
哪些公司问过
字节跳动1晓多科技1
答案要点
- 网格搜索穷举参数组合,配合交叉验证取平均得分最高者
- 网格搜索计算量随参数数量指数增长,适合参数少的场景
- 随机搜索同预算下常更高效,贝叶斯优化用代理模型引导搜索
- 学习率、正则化、batch size 等是关键超参数,学习率宜在对数尺度搜索
- 用验证集或交叉验证选参,测试集只用于最终评估
易错点
- 在测试集上调参,导致评估结果偏乐观
- 学习率用线性均匀网格,没在对数尺度搜索
- 只调参不看学习曲线,分不清过拟合还是欠拟合
面试官常见追问
- 为什么随机搜索常比网格搜索好?
- 大模型训练怎么调参?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。