XGBoost、SVM、KNN、LSTM 原理与适用场景
哪些公司问过
答案要点
- XGBoost:Boosting 串行加树拟合负梯度,二阶泰勒展开加正则项,特征级并行找分裂点
- SVM:最大化分类间隔,软间隔参数 C 控制容错,核技巧处理非线性,模型由支持向量决定
- KNN:无显式训练,靠距离度量和 k 值预测,需特征归一化,朴素预测成本随样本量线性增长
- LSTM:遗忘门、输入门、输出门加细胞状态,加性更新缓解梯度消失,适合序列建模
- 选型:表格数据优先树模型,小样本高维可用 SVM,序列数据用 LSTM 或 Transformer
易错点
- 说 XGBoost 的多棵树并行生成,实际树之间串行,并行发生在单棵树的分裂点查找
- KNN 不做特征归一化,导致量纲大的特征主导距离
- 认为 LSTM 彻底解决了梯度问题,它只是缓解梯度消失,爆炸仍需裁剪
- 把 SVM 的 C 当成正则强度,实际 C 越大越不容忍误分类、正则越弱
面试官常见追问
- XGBoost 和 GBDT 有什么区别?
- SVM 的核函数起什么作用,常用哪些?
- LSTM 为什么能缓解梯度消失?还会梯度爆炸吗?
- KNN 中 k 怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。