集成学习(Ensemble)的思想与常见方法
哪些公司问过
阿里巴巴、腾讯、滴滴、字节跳动1
答案要点
- 定义:组合多个基模型的预测,提升准确性与稳定性,前提是基模型有一定准确度且相互有差异
- Bagging:有放回采样并行训练,投票或平均,主要降低方差,代表随机森林(再加特征随机)
- Boosting:串行训练,后一个模型拟合前面的错误或残差,主要降低偏差,代表AdaBoost、GBDT、XGBoost
- Stacking:第一层多个异质模型,第二层元模型学习组合,元特征用K折的折外预测生成
- 简单融合方式还有硬投票、软投票(平均概率)和加权平均
易错点
- 把随机森林说成Boosting,或把GBDT说成并行训练多棵独立的树
- 忽略基模型多样性:多个高度相关的模型集成提升很小
- Stacking直接用训练集上的预测训练元模型,造成信息泄漏和过拟合
面试官常见追问
- 为什么Bagging降方差、Boosting降偏差?
- 随机森林和GBDT有什么区别?
- Stacking怎么防止过拟合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。