统计学习方法笔记9—EM算法1

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。 每次迭代分两部：E步求期望，M步求极大

9.1 EM算法的引入

概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计

9.1.1 EM算法

例：三硬币模型

y是观测变量，取值1或0； z是隐变量，表示A的结果（不可见） 0是模型参数：π，p，q 根据极大似然原理： 求解上面问题，采用迭代方法，即EM算法 1，选取初值： 2，E步 3，M步

注：不同的初值可能得到不同的参数估计 完全数据与不完全数据：

EM算法： Q函数：

9.1.2 EM算法的推导

极大化观测数据： EM算法是通过迭代逐步近似极大化似然函数，是不断求解下界的极大化逼近求解对数似然函数极大化。