LSI 与 LDA 的区别及主题数的确定
哪些公司问过
美团1贝壳找房1
答案要点
- LSI:对 TF-IDF 词-文档矩阵做截断 SVD,属于线性降维
- LDA:文档-主题-词三层贝叶斯生成模型,主题分布和词分布都有 Dirichlet 先验
- LSI 计算简单但维度可为负、可解释性弱;LDA 输出概率分布,可解释性强
- LDA 求解:Gibbs 采样或变分推断(变分 EM)
- 主题数:困惑度、主题一致性、网格搜索 K 加人工评估,或用 HDP 自动推断
易错点
- 和线性判别分析(同样简称 LDA)混淆:主题模型 LDA 是隐狄利克雷分配
- 说 LSI 是概率模型:LSI 基于 SVD,pLSA 才是它的概率化版本
- 只用困惑度选主题数,忽略主题可解释性
面试官常见追问
- pLSA 和 LDA 有什么关系?
- 困惑度越低就越好吗?
- Dirichlet 先验的超参数有什么作用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。