LR、SVM 与树模型(含 XGBoost)的原理对比
哪些公司问过
虾皮1贝壳找房1
答案要点
- LR:sigmoid 输出概率,交叉熵损失,线性边界,可解释、速度快
- SVM:最大间隔、支持向量、合页损失,核技巧处理非线性,适合中小规模高维数据
- 分类树:按阈值递归划分,ID3 用信息增益、C4.5 用增益率、CART 用基尼系数
- XGBoost:二阶泰勒展开 + 叶子数与权重正则 + 缺失值处理 + 列采样 + 并行
- 选型:大规模稀疏特征常用 LR,表格数据首选树模型集成,小样本非线性可试 SVM
易错点
- 说 LR 是回归模型:名字叫回归,实际用于分类
- 以为 SVM 能直接输出概率:需要 Platt 缩放等额外校准
- 把随机森林和 GBDT 混淆:前者是 Bagging 并行建树,后者是 Boosting 串行拟合残差
面试官常见追问
- GBDT、XGBoost、LightGBM 有什么区别?
- LR 为什么用交叉熵而不用平方损失?
- SVM 的核函数有什么作用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。