HMM学习笔记_2(从一个实例中学习HMM前向算法)

你的名字 2022-05-21 09:23 235阅读 0赞

# [HMM学习笔记\_2(从一个实例中学习HMM前向算法)][HMM_2_HMM] #

HMM算法想必大家已经听说了好多次了，完全看公式一头雾水。但是HMM的基本理论其实很简单。因为HMM是马尔科夫链中的一种，只是它的状态不能直接被观察到，但是可以通过观察向量间接的反映出来，即每一个观察向量由一个具有相应概率密度分布的状态序列产生，又由于每一个状态也是随机分布的，所以HMM是一个双重随机过程。

HMM是语音识别，人体行为识别，文字识别等领域应用非常广泛。

一个HMM模型可以用5个元素来描述，包过2个状态集合和3个概率矩阵。其分别为

隐含状态S，可观测状态O，初始状态概率矩阵π，隐含状态概率转移矩阵A，观测状态转移概率矩阵 B。

HMM在实际应用中主要用来解决3类问题。

1.  评估问题。

即给定观测序列 O=O1O2O3…Ot和模型参数λ=(A,B,π)，怎样有效计算这一观测序列出现的概率

1.  解码问题。

即给定观测序列 O=O1O2O3…Ot和模型参数λ=(A,B,π)，怎样寻找满足这种观察序列意义上最优的隐含状态序列S。

1.  学习问题。

即即HMM的模型参数λ=(A,B,π)未知，如何求出这3个参数以使观测序列O=O1O2O3…Ot的概率尽可能的大。

这篇文章是针对第一个问题来说的，一般采用的是前向后向算法来解决评估问题。这里将的是前向算法。

在此之前，先引入几个符号：

at(i) ：  表示到第t个观察值Ot时处于状态i。

![2012032416220320.png][] ： 表示在状态i下产生观察值 的概率。

现在来看一下前向算法的理论来源。

因为我们要解决的是模型估计问题。即计算概率![2012032416231169.png][] 。将其利用如下公式化简：

![2012032416234587.png][]

因此首先要先计算

![2012032416242620.png][]，其中Q为一给定的状态序列 。又有

![2012032416250081.png][]。

其中

![2012032416252790.png][]

所以

![2012032416255998.png][]。

因此最后求得

![2012032416261150.png][]

由此可以看见其计算复杂度非常大，为![2012032416262527.png][]。

为了解决这个问题，前向算法就出现了。首先定义了一个前向变量 。表示从1到t，输出符号o序列，t时刻处于状态i的累计输出概率。

因为前向变量有如下性质：

初值：

![2012032416264738.png][]，且

![2012032416265778.png][]，最后有递推关系：

![2012032416270534.png][]。

为什么这样就可以简化计算复杂度呢？其原因很简单，因为每一次的at(i)，我们都可以用at-1(i)来计算，就不用重复计算了。如下示意图可以帮助我们形象的理解：

![2012032416272668.png][]

看了这么多公式，是不是头晕了？不急，下面看一个实例就会完全明白的。

题目：HMM模型如下，试通过前向算法计算产生观察符号序列O=\{ABAB\}时每个时刻的 和总概率。

![2012032416274584.png][]

当然初始概率矩阵π=(1,0,0),即开始处于状态1。按照上面的公式理论，我们的递推依次解出at(i)。解法如下：

t=1时：

![2012032416290515.png][]

t=2时：

![2012032416291548.png][]

t=3时：

![2012032416292635.png][]

t=4时：

![2012032416293685.png][]

所以有最后的结果：

![2012032416295021.png][]

最后将其计算过程示意图表示如下：

![2012032418541630.png][]

作者：tornadomeet 出处：http://www.cnblogs.com/tornadomeet 欢迎转载或分享，但请务必声明文章出处。

[HMM_2_HMM]: http://www.cnblogs.com/tornadomeet/archive/2012/03/24/2415583.html
[2012032416220320.png]: /images/20220521/0491a8ea74174ac4b175c98091e0bcd2.png
[2012032416231169.png]: /images/20220521/1478e60be6834b0bb520df3a373b20d1.png
[2012032416234587.png]: /images/20220521/012e7332c9704c85ba543d19dc255909.png
[2012032416242620.png]: /images/20220521/efcaaf92797042829d421c95d248c7ec.png
[2012032416250081.png]: /images/20220521/800d488532284c8f82d6a8d601db1cd9.png
[2012032416252790.png]: /images/20220521/df1712f7a0344b3eb7533161e0c9a84a.png
[2012032416255998.png]: /images/20220521/2a5296965ce4469da314c94c1a91cedc.png
[2012032416261150.png]: /images/20220521/42da6dc94c9841fe8462a68f459bed77.png
[2012032416262527.png]: /images/20220521/c9d33a4bc1134d3db5bd7a5d8adf8407.png
[2012032416264738.png]: /images/20220521/562bf8743065412ba0a3c6fa58a6d831.png
[2012032416265778.png]: /images/20220521/f6fe4990411647279b43fb3e5d4cc8cb.png
[2012032416270534.png]: /images/20220521/ad982ca184974c48add55a8e99028dfd.png
[2012032416272668.png]: /images/20220521/1c9cf8d7a99c485197e26ad6afe32f85.png
[2012032416274584.png]: /images/20220521/f0982413fcce40579e19cdc666c0c812.png
[2012032416290515.png]: /images/20220521/db0238c1fc3a458e8408cc76c05f66af.png
[2012032416291548.png]: /images/20220521/3ef1bebee088434994a4142a51d601af.png
[2012032416292635.png]: /images/20220521/088892ac40d7442aa07992d9ea60ded7.png
[2012032416293685.png]: /images/20220521/c1c1d66cbeaf4cfeb700dcdf94e151a2.png
[2012032416295021.png]: /images/20220521/2a1ce8de04ee4650928197bebffccefc.png
[2012032418541630.png]: /images/20220521/3284fae5ed65491db59b3ab8f5343758.png