EM算法及高斯混合模型GMM详述

阳光穿透心脏的1/2处 2023-07-19 12:30 28阅读 0赞

## 1、最大似然估计 ##

最大似然估计（Maximum Likelihood Estimation，MLE）就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值的计算过程。直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。MLE的目标是找出一组参数（模型中的参数），使得模型产出观察数据的概率最大。  
 arg ⁡ max ⁡ θ p ( X ; θ ) \\arg\\max\_\{\\theta\}p(X;\\theta) argθmaxp(X;θ)

##### MLE求解过程： #####

*  似然函数，即在样本固定的情况下，样本出现的概率与参数θ之间的函数
 *  对似然函数取对数
 *  对数似然函数求导数
 *  解似然方程

L ( X ; θ ) → l ( θ ) = ln ⁡ ( L ( X ; θ ) ) → ∂ l ∂ θ arg ⁡ max ⁡ p P ( x i ; p ) = arg ⁡ max ⁡ p ln ⁡ ( P ( x i ; p ) ) \\begin\{aligned\} L(X; \\theta)\\to l(\\theta)&=\\ln(L(X;\\theta))\\to\\frac\{\\partial l\}\{\\partial\\theta\} \\\\ \\arg\\max\_pP(x\_i;p)&=\\arg\\max\_p\\ln(P(x\_i;p)) \\end\{aligned\} L(X;θ)→l(θ)argpmaxP(xi;p)=ln(L(X;θ))→∂θ∂l=argpmaxln(P(xi;p))

##### 最大后验概率估计 #####

最大后验概率估计（Maximum A Posteriori Estimation，MAP）和MLE一样，都是通过样本估计参数 θ \\theta θ的值。在MLE中，是使似然函数 P ( x ∣ θ ) P(x|\\theta) P(x∣θ)最大的时候参数 θ \\theta θ的值，MLE中假设先验概率是等值的。而在MAP中，则是求 θ \\theta θ使 P ( x ∣ θ ) P ( θ ) P(x|\\theta)P(\\theta) P(x∣θ)P(θ)的值最大，这也就是要求 θ \\theta θ值不仅仅是让似然函数最大，同时要求 θ \\theta θ本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用。  
 P ( θ ′ ∣ X ) = P ( θ ′ ) P ( X ∣ θ ′ ) P ( X ) → arg ⁡ max ⁡ θ ′ P ( θ ′ ∣ X ) → arg ⁡ max ⁡ θ ′ P ( θ ′ ) P ( X ∣ θ ′ ) P(\\theta'|X)=\\frac\{P(\\theta')P(X|\\theta')\}\{P(X)\}\\to\\arg\\max\_\{\\theta'\}P(\\theta'|X)\\to\\arg\\max\_\{\\theta'\}P(\\theta')P(X|\\theta') P(θ′∣X)=P(X)P(θ′)P(X∣θ′)→argθ′maxP(θ′∣X)→argθ′maxP(θ′)P(X∣θ′)

## 2、EM算法 ##

EM算法（Expectation Maximization Algorithm，最大期望算法）是一种迭代类型的算法，是一种在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。

##### EM算法流程： #####

*  初始化分布参数
 *  重复下列两个操作直到收敛：
 *  E步骤：估计隐藏变量的概率分布期望函数
 *  M步骤：根据期望函数重新估计分布参数

##### EM算法原理： #####

给定的m个训练样本 x ( 1 ) , x ( 2 ) , … , x ( m ) \{x^\{(1)\}, x^\{(2)\}, \\dots, x^\{(m)\}\} x(1),x(2),…,x(m)，样本间独立，找出样本的模型参数 θ θ θ，极大化模型分布的对数似然函数如下：  
 θ = arg ⁡ max ⁡ θ ∑ i = 1 m log ⁡ ( P ( x ( i ) ; θ ) ) \\theta=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\log(P(x^\{(i)\};\\theta)) θ=argθmaxi=1∑mlog(P(x(i);θ))  
假定样本数据中存在隐含数据 z = z ( 1 ) , z ( 2 ) , … , z ( k ) z=\{z^\{(1)\}, z^\{(2)\}, \\dots, z^\{(k)\}\} z=z(1),z(2),…,z(k)，此时极大化模型分布的对数似然函数如下：  
 θ = arg ⁡ max ⁡ θ ∑ i = 1 m log ⁡ ( P ( x ( i ) ; θ ) ) = arg ⁡ max ⁡ θ ∑ i = 1 m log ⁡ ( ∑ z ( i ) P ( z ( i ) ) P ( x ( i ) ∣ z ( i ) ; θ ) ) = arg ⁡ max ⁡ θ ∑ i = 1 m log ⁡ ( ∑ z ( i ) P ( x ( i ) , z ( i ) ; θ ) ) \\begin\{aligned\} \\theta&=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\log(P(x^\{(i)\};\\theta)) \\\\ &=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\log(\\sum\_\{z^\{(i)\}\}P(z^\{(i)\})P(x^\{(i)\}|z^\{(i)\};\\theta)) \\\\ &=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\log(\\sum\_\{z^\{(i)\}\}P(x^\{(i)\},z^\{(i)\};\\theta)) \\end\{aligned\} θ=argθmaxi=1∑mlog(P(x(i);θ))=argθmaxi=1∑mlog(z(i)∑P(z(i))P(x(i)∣z(i);θ))=argθmaxi=1∑mlog(z(i)∑P(x(i),z(i);θ))  
令z的分布为 Q ( z ; θ ) Q(z;\\theta) Q(z;θ) ，并且 Q ( z ; θ ) ≥ 0 Q(z;\\theta)\\ge0 Q(z;θ)≥0，那么有如下公式：  
 ∑ z Q ( z ; θ ) = 1 l ( θ ) = ∑ i = 1 m log ⁡ ∑ z p ( x , z ; θ ) = ∑ i = 1 m log ⁡ ∑ z Q ( z ; θ ) ⋅ p ( x , z ; θ ) Q ( z ; θ ) = ∑ i = 1 m log ⁡ ( E Q ( p ( x , z ; θ ) Q ( z ; θ ) ) ) ≥ ∑ i = 1 m E Q ( log ⁡ ( p ( x , z ; θ ) Q ( z ; θ ) ) ) = ∑ i = 1 m ∑ z Q ( z ; θ ) log ⁡ ( p ( x , z ; θ ) Q ( z ; θ ) ) \\begin\{aligned\} \\sum\_zQ(z;\\theta)&=1 \\\\ l(\\theta)&=\\sum\_\{i=1\}^m\\log\\sum\_zp(x,z;\\theta) \\\\ &=\\sum\_\{i=1\}^m\\log\\sum\_zQ(z;\\theta)\\cdot\\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\} \\\\ &=\\sum\_\{i=1\}^m\\log(E\_Q(\\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\})) \\\\ &\\ge\\sum\_\{i=1\}^mE\_Q(\\log(\\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\})) \\\\ &=\\sum\_\{i=1\}^m\\sum\_zQ(z;\\theta)\\log(\\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\}) \\end\{aligned\} z∑Q(z;θ)l(θ)=1=i=1∑mlogz∑p(x,z;θ)=i=1∑mlogz∑Q(z;θ)⋅Q(z;θ)p(x,z;θ)=i=1∑mlog(EQ(Q(z;θ)p(x,z;θ)))≥i=1∑mEQ(log(Q(z;θ)p(x,z;θ)))=i=1∑mz∑Q(z;θ)log(Q(z;θ)p(x,z;θ))

##### Jensen不等式： #####

如果函数f为凸函数，那么存在下列公式：  
 f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\\theta x+(1-\\theta)y)\\le\\theta f(x)+(1-\\theta)f(y) f(θx\+(1−θ)y)≤θf(x)\+(1−θ)f(y)  
如下图所示：  
![20200331115828248.png_pic_center][]  
若 θ 1 , θ 2 , … , θ k ≥ 0 ， θ 1 + ⋯ + θ k = 1 \\theta\_1, \\theta\_2, \\dots, \\theta\_k\\ge0，θ\_1 +\\dots+θ\_k =1 θ1,θ2,…,θk≥0，θ1\+⋯\+θk=1，则  
 f ( θ 1 x 1 + ⋯ + θ k x k ) ≤ θ 1 f ( x 1 ) + ⋯ + θ k f ( x k ) f ( E ( x ) ) ≤ E ( f ( x ) ) \\begin\{aligned\} f(\\theta\_1x\_1+\\dots+\\theta\_kx\_k)&\\le\\theta\_1f(x\_1)+\\dots+\\theta\_kf(x\_k) \\\\ f(E(x))&\\le E(f(x)) \\end\{aligned\} f(θ1x1\+⋯\+θkxk)f(E(x))≤θ1f(x1)\+⋯\+θkf(xk)≤E(f(x))  
根据Jensen不等式的特性，当下列式子的值为常数的时候， l ( θ ) l(\\theta) l(θ)函数才能取等号。  
 p ( x , z ; θ ) Q ( z ; θ ) = c ∑ z Q ( z ; θ ) = 1 Q ( z , θ ) = p ( x , z ; θ ) c = p ( x , z ; θ ) c ⋅ ∑ z i Q ( z i ; θ ) = p ( x , z ; θ ) ∑ z i c ⋅ Q ( z i ; θ ) = p ( x , z ; θ ) ∑ z i p ( x , z i ; θ ) = p ( x , z ; θ ) p ( x ; θ ) = p ( z ∣ x ; θ ) θ = arg ⁡ max ⁡ θ l ( θ ) = arg ⁡ max ⁡ θ ∑ i = 1 m ∑ z Q ( z ; θ ) log ⁡ ( p ( x , z ; θ ) Q ( z ; θ ) ) = arg ⁡ max ⁡ θ ∑ i = 1 m ∑ z Q ( z ∣ x ; θ ) log ⁡ ( p ( x , z ; θ ) Q ( z ∣ x ; θ ) ) = arg ⁡ max ⁡ θ ∑ i = 1 m ∑ z Q ( z ∣ x ; θ ) log ⁡ ( p ( x , z ; θ ) ) \\begin\{aligned\} \\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\}&=c \\\\ \\sum\_zQ(z;\\theta)&=1 \\\\ Q(z, \\theta)&=\\frac\{p(x, z; \\theta)\}\{c\} \\\\ &=\\frac\{p(x, z; \\theta)\}\{c\\cdot\\sum\_\{z^i\}Q(z^i;\\theta)\} \\\\ &=\\frac\{p(x, z; \\theta)\}\{\\sum\_\{z^i\}c\\cdot Q(z^i;\\theta)\} \\\\ &=\\frac\{p(x, z; \\theta)\}\{\\sum\_\{z^i\}p(x, z^i; \\theta)\} \\\\ &=\\frac\{p(x, z; \\theta)\}\{p(x;\\theta)\} \\\\ &=p(z|x;\\theta) \\\\ \\theta&=\\arg\\max\_\{\\theta\}l(\\theta) \\\\ &=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\sum\_zQ(z;\\theta)\\log(\\frac\{p(x,z;\\theta)\}\{Q(z;\\theta)\}) \\\\ &=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\sum\_zQ(z|x;\\theta)\\log(\\frac\{p(x,z;\\theta)\}\{Q(z|x;\\theta)\}) \\\\ &=\\arg\\max\_\{\\theta\}\\sum\_\{i=1\}^m\\sum\_zQ(z|x;\\theta)\\log(p(x,z;\\theta)) \\end\{aligned\} Q(z;θ)p(x,z;θ)z∑Q(z;θ)Q(z,θ)θ=c=1=cp(x,z;θ)=c⋅∑ziQ(zi;θ)p(x,z;θ)=∑zic⋅Q(zi;θ)p(x,z;θ)=∑zip(x,zi;θ)p(x,z;θ)=p(x;θ)p(x,z;θ)=p(z∣x;θ)=argθmaxl(θ)=argθmaxi=1∑mz∑Q(z;θ)log(Q(z;θ)p(x,z;θ))=argθmaxi=1∑mz∑Q(z∣x;θ)log(Q(z∣x;θ)p(x,z;θ))=argθmaxi=1∑mz∑Q(z∣x;θ)log(p(x,z;θ))

##### EM算法流程： #####

样本数据 x = x 1 , x 2 , … , x k x=\{x\_1, x\_2, \\dots, x\_k\} x=x1,x2,…,xk，联合分布 p ( x , z ; θ ) p(x, z;\\theta) p(x,z;θ)，条件分布 p ( z ∣ x ; θ ) p(z|x;\\theta) p(z∣x;θ)，最大迭代次数J。

*  随机初始化模型参数θ的初始值 θ 0 θ\_0 θ0
 *  开始EM算法的迭代处理：
 *  E步：计算联合分布的条件概率期望  
     Q j = p ( z ∣ x ; θ j ) l ( θ ) = ∑ i = 1 m ∑ z Q j log ⁡ ( p ( x , z ; θ j ) ) \\begin\{aligned\} Q\_j&=p(z|x;\\theta\_j) \\\\ l(\\theta)&=\\sum\_\{i=1\}^m\\sum\_zQ\_j\\log(p(x,z;\\theta\_j)) \\end\{aligned\} Qjl(θ)=p(z∣x;θj)=i=1∑mz∑Qjlog(p(x,z;θj))
 *  M步：极大化L函数，得到 θ j + 1 θ\_\{j+1\} θj\+1  
     θ j + 1 = arg ⁡ max ⁡ θ l ( θ ) \\theta\_\{j+1\}=\\arg\\max\_\{\\theta\}l(\\theta) θj\+1=argθmaxl(θ)
 *  如果 θ j + 1 θ\_\{j+1\} θj\+1已经收敛，则算法结束，输出最终的模型参数 θ \\theta θ，否则继续迭代处理

##### EM算法收敛证明 #####

EM算法的收敛性只要我们能够证明对数似然函数的值在迭代的过程中是增加的即可，即证明下式成立：  
 ∑ i = 1 m log ⁡ ( p ( x i ; θ j + 1 ) ) ≥ ∑ i = 1 m log ⁡ ( p ( x i ; θ j ) ) \\sum\_\{i=1\}^m\\log(p(x^i; \\theta\_\{j+1\}))\\ge\\sum\_\{i=1\}^m\\log(p(x^i; \\theta\_j)) i=1∑mlog(p(xi;θj\+1))≥i=1∑mlog(p(xi;θj))  
证明过程如下：  
 L ( θ , θ j ) = ∑ i = 1 m ∑ z p ( z ∣ x i ; θ j ) log ⁡ p ( x i , z ; θ ) H ( θ , θ j ) = ∑ i = 1 m ∑ z p ( z ∣ x i ; θ j ) log ⁡ p ( z ∣ x i ; θ ) L ( θ , θ j ) − H ( θ , θ j ) = ∑ i = 1 m log ⁡ ( x i ; θ ) \[ L ( θ j + 1 , θ j ) − L ( θ j , θ j ) \] − \[ H ( θ j + 1 , θ j ) − H ( θ j , θ j ) \] = ∑ i = 1 m log ⁡ ( x i ; θ j + 1 ) − ∑ i = 1 m log ⁡ ( x i ; θ j ) L ( θ j + 1 , θ j ) − L ( θ j , θ j ) ≥ 0 H ( θ j + 1 , θ j ) − H ( θ j , θ j ) = ∑ i = 1 m ∑ z p ( z ∣ x i ; θ j ) log ⁡ p ( z ∣ x i ; θ j + 1 ) p ( z ∣ x i ; θ j ) ≤ ∑ i = 1 m log ⁡ ( ∑ z p ( z ∣ x i ; θ j ) ⋅ p ( z ∣ x i ; θ j + 1 ) p ( z ∣ x i ; θ j ) ) ∑ i = 1 m log ⁡ ( x i ; θ j + 1 ) − ∑ i = 1 m log ⁡ ( x i ; θ j ) ≥ 0 \\begin\{aligned\} L(\\theta, \\theta\_j)&=\\sum\_\{i=1\}^m\\sum\_zp(z|x\_i;\\theta\_j)\\log p(x\_i, z;\\theta) \\\\ H(\\theta, \\theta\_j)&=\\sum\_\{i=1\}^m\\sum\_zp(z|x\_i;\\theta\_j)\\log p(z|x\_i;\\theta) \\\\ L(\\theta, \\theta\_j)-H(\\theta, \\theta\_j)&=\\sum\_\{i=1\}^m\\log(x\_i;\\theta) \\\\ \[L(\\theta\_\{j+1\}, \\theta\_j)-L(\\theta\_j, \\theta\_j)\]-\[H(\\theta\_\{j+1\}, \\theta\_j)-H(\\theta\_j, \\theta\_j)\]&=\\sum\_\{i=1\}^m\\log(x\_i;\\theta\_\{j+1\})-\\sum\_\{i=1\}^m\\log(x\_i;\\theta\_j) \\\\ L(\\theta\_\{j+1\}, \\theta\_j)-L(\\theta\_j, \\theta\_j)&\\ge 0 \\\\ H(\\theta\_\{j+1\}, \\theta\_j)-H(\\theta\_j, \\theta\_j)&=\\sum\_\{i=1\}^m\\sum\_zp(z|x\_i;\\theta\_j)\\log\\frac\{p(z|x\_i;\\theta\_\{j+1\})\}\{p(z|x\_i;\\theta\_j)\} \\\\ &\\le\\sum\_\{i=1\}^m\\log(\\sum\_zp(z|x\_i;\\theta\_j)\\cdot\\frac\{p(z|x\_i;\\theta\_\{j+1\})\}\{p(z|x\_i;\\theta\_j)\}) \\\\ \\sum\_\{i=1\}^m\\log(x\_i;\\theta\_\{j+1\})-\\sum\_\{i=1\}^m\\log(x\_i;\\theta\_j)&\\ge0 \\end\{aligned\} L(θ,θj)H(θ,θj)L(θ,θj)−H(θ,θj)\[L(θj\+1,θj)−L(θj,θj)\]−\[H(θj\+1,θj)−H(θj,θj)\]L(θj\+1,θj)−L(θj,θj)H(θj\+1,θj)−H(θj,θj)i=1∑mlog(xi;θj\+1)−i=1∑mlog(xi;θj)=i=1∑mz∑p(z∣xi;θj)logp(xi,z;θ)=i=1∑mz∑p(z∣xi;θj)logp(z∣xi;θ)=i=1∑mlog(xi;θ)=i=1∑mlog(xi;θj\+1)−i=1∑mlog(xi;θj)≥0=i=1∑mz∑p(z∣xi;θj)logp(z∣xi;θj)p(z∣xi;θj\+1)≤i=1∑mlog(z∑p(z∣xi;θj)⋅p(z∣xi;θj)p(z∣xi;θj\+1))≥0

## 3、高斯混合模型 ##

GMM（Gaussian Mixture Model，高斯混合模型）是指该算法由多个高斯模型线性叠加混合而成。每个高斯模型称之为component。GMM算法描述的是数据的本身存在的一种分布。  
GMM算法常用于聚类应用中，component的个数就可以认为是类别的数量。假定GMM由k个Gaussian分布线性叠加而成，那么概率密度函数如下：  
 p ( x ) = ∑ k = 1 K p ( k ) p ( x ∣ k ) = ∑ k = 1 K π k p ( x ; μ k , Σ k ) \\begin\{aligned\} p(x)&=\\sum\_\{k=1\}^Kp(k)p(x|k) \\\\ &=\\sum\_\{k=1\}^K\\pi\_kp(x;\\mu\_k, \\Sigma\_k) \\end\{aligned\} p(x)=k=1∑Kp(k)p(x∣k)=k=1∑Kπkp(x;μk,Σk)  
![20200331130608270.png_pic_center][]

*  对数似然函数：  
     l ( π , μ , σ ) = ∑ i = 1 N log ⁡ ( ∑ k = 1 K π k p ( x i ; μ k , Σ k ) ) l(\\pi, \\mu, \\sigma)=\\sum\_\{i=1\}^N\\log(\\sum\_\{k=1\}^K\\pi\_kp(x\_i;\\mu\_k,\\Sigma\_k)) l(π,μ,σ)=i=1∑Nlog(k=1∑Kπkp(xi;μk,Σk))
 *  E step：  
     w j ( i ) = Q i ( z ( i ) = j ) = p ( z ( i ) = j ∣ x ( i ) ; π , μ , Σ ) \\begin\{aligned\} w\_j^\{(i)\}&=Q\_i(z^\{(i)\}=j) \\\\ &=p(z^\{(i)\}=j|x^\{(i)\};\\pi, \\mu, \\Sigma) \\end\{aligned\} wj(i)=Qi(z(i)=j)=p(z(i)=j∣x(i);π,μ,Σ)
 *  M step：  
     l ( π , μ , Σ ) = ∑ i = 1 m ∑ z ( i ) Q i ( z ( i ) ) log ⁡ ( p ( x ( i ) , z ( i ) ; π , μ , Σ ) Q i ( z ( i ) ) ) = ∑ i = 1 m ∑ j = 1 k Q i ( z ( i ) = j ) log ⁡ p ( x ( i ) ∣ z ( i ) = j ; μ , Σ ) ⋅ p ( z ( i ) = j ; π ) Q i ( z ( i ) = j ) = ∑ i = 1 m ∑ j = 1 k w j ( i ) log ⁡ ( 1 ( 2 π ) n 2 ∣ Σ j ∣ 1 2 e − 1 2 ( x ( i ) − μ j ) T Σ j − 1 ( x ( i ) − μ j ) ) ⋅ π j w j ( i ) \\begin\{aligned\} l(\\pi, \\mu, \\Sigma)&=\\sum\_\{i=1\}^m\\sum\_\{z^\{(i)\}\}Q\_i(z^\{(i)\})\\log(\\frac\{p(x^\{(i)\}, z^\{(i)\};\\pi, \\mu, \\Sigma)\}\{Q\_i(z^\{(i)\})\}) \\\\ &=\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kQ\_i(z^\{(i)\}=j)\\log\\frac\{p(x^\{(i)\}|z^\{(i)\}=j;\\mu, \\Sigma)\\cdot p(z^\{(i)\}=j;\\pi)\}\{Q\_i(z^\{(i)\}=j)\} \\\\ &=\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}\\log\\frac\{(\\frac\{1\}\{(2\\pi)^\{\\frac\{n\}\{2\}\}|\\Sigma\_j|^\{\\frac\{1\}\{2\}\}\}e^\{-\\frac\{1\}\{2\}(x^\{(i)\}-\\mu\_j)^T\\Sigma\_j^\{-1\}(x^\{(i)\}-\\mu\_j)\})\\cdot\\pi\_j\}\{w\_j^\{(i)\}\} \\end\{aligned\} l(π,μ,Σ)=i=1∑mz(i)∑Qi(z(i))log(Qi(z(i))p(x(i),z(i);π,μ,Σ))=i=1∑mj=1∑kQi(z(i)=j)logQi(z(i)=j)p(x(i)∣z(i)=j;μ,Σ)⋅p(z(i)=j;π)=i=1∑mj=1∑kwj(i)logwj(i)((2π)2n∣Σj∣211e−21(x(i)−μj)TΣj−1(x(i)−μj))⋅πj
 *  对均值求偏导：  
     l ( π , μ , Σ ) = ∑ i = 1 m ∑ j = 1 k w j ( i ) ( − 1 2 ( x ( i ) − μ j ) T Σ j − 1 ( x ( i ) − μ j ) ) + c ∂ l ∂ μ l = − 1 2 ∑ i = 1 m w l ( i ) ( x ( i ) T Σ l − 1 x ( i ) − x ( i ) T Σ l − 1 μ l − μ l T Σ l − 1 x ( i ) + μ l T Σ l − 1 μ l ) = 1 2 ∑ i = 1 m w l ( i ) ( ( x ( i ) T Σ l − 1 ) T + Σ l − 1 x ( i ) − ( ( Σ l − 1 ) T + Σ l − 1 ) μ l ) = ∑ i = 1 m w l ( i ) ( Σ l − 1 x ( i ) − Σ l − 1 μ l ) 令 ∂ l ∂ μ l = 0 → μ l = ∑ i = 1 m w l ( i ) x ( i ) ∑ i = 1 m w l ( i ) \\begin\{aligned\} l(\\pi, \\mu, \\Sigma)&=\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}(-\\frac\{1\}\{2\}(x^\{(i)\}-\\mu\_j)^T\\Sigma\_j^\{-1\}(x^\{(i)\}-\\mu\_j))+c \\\\ \\frac\{\\partial l\}\{\\partial\\mu\_l\}&=-\\frac\{1\}\{2\}\\sum\_\{i=1\}^mw\_l^\{(i)\}(x^\{(i)^T\}\\Sigma\_l^\{-1\}x^\{(i)\}-x^\{(i)^T\}\\Sigma\_l^\{-1\}\\mu\_l-\\mu\_l^T\\Sigma\_l^\{-1\}x^\{(i)\}+\\mu\_l^T\\Sigma\_l^\{-1\}\\mu\_l) \\\\ &=\\frac\{1\}\{2\}\\sum\_\{i=1\}^mw\_l^\{(i)\}((x^\{(i)^T\}\\Sigma\_l^\{-1\})^T+\\Sigma\_l^\{-1\}x^\{(i)\}-((\\Sigma\_l^\{-1\})^T+\\Sigma\_l^\{-1\})\\mu\_l) \\\\ &=\\sum\_\{i=1\}^mw\_l^\{(i)\}(\\Sigma\_l^\{-1\}x^\{(i)\}-\\Sigma\_l^\{-1\}\\mu\_l) \\\\ &\\underrightarrow\{令\\frac\{\\partial l\}\{\\partial\\mu\_l\}=0\}\\mu\_l=\\frac\{\\sum\_\{i=1\}^mw\_l^\{(i)\}x^\{(i)\}\}\{\\sum\_\{i=1\}^mw\_l^\{(i)\}\} \\end\{aligned\} l(π,μ,Σ)∂μl∂l=i=1∑mj=1∑kwj(i)(−21(x(i)−μj)TΣj−1(x(i)−μj))\+c=−21i=1∑mwl(i)(x(i)TΣl−1x(i)−x(i)TΣl−1μl−μlTΣl−1x(i)\+μlTΣl−1μl)=21i=1∑mwl(i)((x(i)TΣl−1)T\+Σl−1x(i)−((Σl−1)T\+Σl−1)μl)=i=1∑mwl(i)(Σl−1x(i)−Σl−1μl)令∂μl∂l=0μl=∑i=1mwl(i)∑i=1mwl(i)x(i)
 *  对方差求偏导：  
     l ( π , μ , Σ ) = 1 2 ∑ i = 1 m ∑ j = 1 k w j ( i ) ( log ⁡ Σ j − 1 − ( x ( i ) − μ j ) T Σ j − 1 ( x ( i ) − μ j ) ) + c ∂ l ∂ Σ l = 1 2 ∑ i = 1 m w l ( i ) ( Σ l − ( x ( i ) − μ j ) ( x ( i ) − μ j ) T ) 令 ∂ l ∂ Σ l = 0 → Σ l = ∑ i = 1 m w l ( i ) ( x ( i ) − μ j ) ( x ( i ) − μ j ) T ∑ i = 1 m w l ( i ) \\begin\{aligned\} l(\\pi, \\mu, \\Sigma)&=\\frac\{1\}\{2\}\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}(\\log\\Sigma\_j^\{-1\}-(x^\{(i)\}-\\mu\_j)^T\\Sigma\_j^\{-1\}(x^\{(i)\}-\\mu\_j))+c \\\\ \\frac\{\\partial l\}\{\\partial\\Sigma\_l\}&=\\frac\{1\}\{2\}\\sum\_\{i=1\}^mw\_l^\{(i)\}(\\Sigma\_l-(x^\{(i)\}-\\mu\_j)(x^\{(i)\}-\\mu\_j)^T) \\\\ &\\underrightarrow\{令\\frac\{\\partial l\}\{\\partial\\Sigma\_l\}=0\}\\Sigma\_l=\\frac\{\\sum\_\{i=1\}^mw\_l^\{(i)\}(x^\{(i)\}-\\mu\_j)(x^\{(i)\}-\\mu\_j)^T\}\{\\sum\_\{i=1\}^mw\_l^\{(i)\}\} \\end\{aligned\} l(π,μ,Σ)∂Σl∂l=21i=1∑mj=1∑kwj(i)(logΣj−1−(x(i)−μj)TΣj−1(x(i)−μj))\+c=21i=1∑mwl(i)(Σl−(x(i)−μj)(x(i)−μj)T)令∂Σl∂l=0Σl=∑i=1mwl(i)∑i=1mwl(i)(x(i)−μj)(x(i)−μj)T
 *  对概率使用拉格朗日乘子法求解：  
     l ( π , μ , Σ ) = ∑ i = 1 m ∑ j = 1 k w j ( i ) log ⁡ π j + c s . t .      ∑ j = 1 k π j = 1 L ( π ) = ∑ i = 1 m ∑ j = 1 k w j ( i ) log ⁡ π j + β ( ∑ j = 1 k π j − 1 ) ∂ L ∂ π l = ∑ i = 1 m w l ( i ) π l + β 令 ∂ L ∂ π l = 0 → \{ β = − ∑ i = 1 m ∑ j = 1 k w j ( i ) = − m π l = 1 m ∑ i = 1 m w l ( i ) \\begin\{aligned\} l(\\pi, \\mu, \\Sigma)&=\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}\\log\\pi\_j+c \\\\ s.t. \\ \\ \\ \\ &\\sum\_\{j=1\}^k\\pi\_j=1 \\\\ L(\\pi)&=\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}\\log\\pi\_j+\\beta(\\sum\_\{j=1\}^k\\pi\_j-1) \\\\ \\frac\{\\partial L\}\{\\partial\\pi\_l\}&=\\sum\_\{i=1\}^m\\frac\{w\_l^\{(i)\}\}\{\\pi\_l\}+\\beta \\\\ &\\underrightarrow\{令\\frac\{\\partial L\}\{\\partial\\pi\_l\}=0\}\\begin\{cases\} \\beta&=-\\sum\_\{i=1\}^m\\sum\_\{j=1\}^kw\_j^\{(i)\}=-m \\\\ \\pi\_l&=\\frac\{1\}\{m\}\\sum\_\{i=1\}^mw\_l^\{(i)\} \\end\{cases\} \\end\{aligned\} l(π,μ,Σ)s.t.    L(π)∂πl∂L=i=1∑mj=1∑kwj(i)logπj\+cj=1∑kπj=1=i=1∑mj=1∑kwj(i)logπj\+β(j=1∑kπj−1)=i=1∑mπlwl(i)\+β令∂πl∂L=0\{ βπl=−∑i=1m∑j=1kwj(i)=−m=m1∑i=1mwl(i)

[20200331115828248.png_pic_center]: /images/20230528/b5a9b7d735124e00b20b7b3f27339c19.png
[20200331130608270.png_pic_center]: /images/20230528/f02a379654b14e6da6a5c58260052967.png