面试题库 › 算法 / 大模型 › EM 算法推导与 Jensen 不等式下界

EM 算法推导与 Jensen 不等式下界

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:概率图模型

哪些公司问过

美团1

常见岗位:机器学习算法(泛)

答案要点

  1. 对数内有求和难以直接优化,引入辅助分布 q(z) 改写似然
  2. log 为凹函数,Jensen 给出 log P(X|θ) ≥ Σq log[P(X,z|θ)/q],即 ELBO
  3. log P(X|θ) = ELBO + KL(q‖后验),q 取后验时 KL 为 0,下界取等
  4. E 步算后验 q=P(Z|X,θ_old);M 步最大化 Q(θ)=Σq log P(X,z|θ)
  5. 似然单调不降,只保证局部最优,对初始化敏感

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题