EM 算法推导与 Jensen 不等式下界
哪些公司问过
答案要点
- 对数内有求和难以直接优化,引入辅助分布 q(z) 改写似然
- log 为凹函数,Jensen 给出 log P(X|θ) ≥ Σq log[P(X,z|θ)/q],即 ELBO
- log P(X|θ) = ELBO + KL(q‖后验),q 取后验时 KL 为 0,下界取等
- E 步算后验 q=P(Z|X,θ_old);M 步最大化 Q(θ)=Σq log P(X,z|θ)
- 似然单调不降,只保证局部最优,对初始化敏感
易错点
- Jensen 不等式方向写反,log 是凹函数,应为 log E ≥ E log
- 说不清等号成立条件是 q 等于隐变量后验
- 误以为 EM 能保证全局最优
面试官常见追问
- 为什么 EM 能保证似然不下降?
- 以 GMM 为例说说 E 步和 M 步。
- EM 和变分推断有什么关系?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。