逻辑回归与最大熵模型的关系
答案要点
- 最大熵原理:在满足约束的分布中选择熵最大者,不做额外假设
- 约束条件:特征函数在模型下的期望等于训练数据上的经验期望
- 解的形式:拉格朗日乘子法得到 P(y|x) = exp(Σ w_i f_i(x,y)) / Z(x),属于指数族
- 特征取输入与类别指示的乘积时,二分类化简为逻辑回归,多分类为 softmax 回归
- 对偶问题等价于极大似然估计,可用梯度下降、L-BFGS、IIS 等方法求解
易错点
- 认为二者完全无关或无条件等同,应说明特例关系及成立条件
- 把最大熵理解为“分布完全均匀”,实际是在满足期望约束的前提下最均匀
- 忘记最大熵模型最大化的是条件熵
面试官常见追问
- 为什么说最大熵的对偶等价于极大似然?
- 最大熵模型在 NLP 中怎么用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。