面试题库 › 算法 / 大模型 › 逻辑回归与最大熵模型的关系

逻辑回归与最大熵模型的关系

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:线性模型与逻辑回归

常见岗位:机器学习算法(泛)

答案要点

  1. 最大熵原理:在满足约束的分布中选择熵最大者,不做额外假设
  2. 约束条件:特征函数在模型下的期望等于训练数据上的经验期望
  3. 解的形式:拉格朗日乘子法得到 P(y|x) = exp(Σ w_i f_i(x,y)) / Z(x),属于指数族
  4. 特征取输入与类别指示的乘积时,二分类化简为逻辑回归,多分类为 softmax 回归
  5. 对偶问题等价于极大似然估计,可用梯度下降、L-BFGS、IIS 等方法求解

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题