机器学习---最大熵模型（MEM）小结

ゝ一纸荒年。 2023-03-04 12:25 36阅读 0赞

**当我们想要得到一个随机事件的概率分布时，如果没有足够的信息来完全确定其概率分布，那么最为保险的方法就是选择一个使得熵最大的分布。**

### 最大熵模型 ###

*  1.信息论知识
 *   *  1.1信息熵的概念
     *  1.2.条件熵
     *  1.3相对熵
     *  1.4互信息
     *  1.5几个量之间的关系
 *  2.无约束条件
 *  3.最大熵原理
 *   *  3.1构造约束条件
     *  3.2求解概率分布

# 1.信息论知识 #

这里就照搬我写的一篇关于决策树的内容了。原文链接：[决策树与随机森林(从入门到精通)][Link 1]

## 1.1信息熵的概念 ##

设离散型随机变量X的取值有 x 1 , x 2 , x 3 , . . . , x n x\_\{1\},x\_\{2\},x\_\{3\},...,x\_\{n\} x1,x2,x3,...,xn，其发生概率分别为 p 1 , p 2 , p 3 , . . . , p n p\_\{1\},p\_\{2\},p\_\{3\},...,p\_\{n\} p1,p2,p3,...,pn，那么就可以定义信息熵为：  
![在这里插入图片描述][20200706170143271.gif_pic_center]  
一般对数的底数是2，当然也可以换成e，当对数底数为2时，信息熵的单位为**比特**，信息熵也称香农熵。当对数不为2而是其他大于2的整数r时，我们称信息熵为r-进制熵，记为 H r ( X ) H\_\{r\}(X) Hr(X)，它与信息熵转换公式为：  
![在这里插入图片描述][20200706170319733.gif_pic_center]  
**信息熵用以描述信源的不确定度， 概率越大，可能性越大，但是信息量越小，不确定性越小，熵越小。**

## 1.2.条件熵 ##

设随机变量(X,Y)具有联合概率分布：  
![在这里插入图片描述][20200706171239329.gif_pic_center]  
  **条件熵 H ( Y ∣ X ) H(Y|X) H(Y∣X)表示 在已知随机变量X的条件下随机变量Y的不确定性。可以这样理解：(X,Y)发生所包含的熵，减去X单独发生的熵，就是在X发生的前提下，Y发生新带来的熵。**  
所以条件熵有如下公式成立：  
![在这里插入图片描述][20200706171854315.gif_pic_center]  
推导如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]

## 1.3相对熵 ##

相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等。定义如下：  
设p(x)，q(x)是随机变量X中取值的两个概率分布，则p对q的相对熵为：  
![在这里插入图片描述][20200706173226315.gif_pic_center]  
**在信息理论中，相对熵等价于两个分布的信息熵（Shannon entropy）的差值。** 即：  
![在这里插入图片描述][20200706173929557.png_pic_center]

## 1.4互信息 ##

两个随机变量X和Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。即：  
![在这里插入图片描述][20200706174255232.gif_pic_center]  
所以根据KL散度也就是相对熵的定义，可以推出互信息的表达式如下：  
![在这里插入图片描述][20200706174515522.gif_pic_center]  
继续推导如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]  
所以最后有：  
![在这里插入图片描述][20200706174828740.gif_pic_center]

## 1.5几个量之间的关系 ##

结合上述条件熵的两个表达式，可以进一步推出：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 2]  
当然我们也可以根据熵的定义来直接推出上面这个互信息的公式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 3]  
同时我们也可以得到两个不等式：  
![在这里插入图片描述][20200706175717325.gif_pic_center]  
上面这个不等式告诉我们，**对于一个与X相关的随机变量Y，只要我们得知了一点关于Y的信息，那么X的不确定度就会减小。**  
最后，借助强大的韦恩图来记住这些关系：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 4]

# 2.无约束条件 #

假设有一随机变量X是离散的，我们只是知道它有K个可能的取值，其余什么信息都不知道，那么我们该如何估计才能使得熵最大呢？

根据上面熵的定义，我们知道我们要做的其实就是：  
![在这里插入图片描述][20200803175220260.gif_pic_center]  
概率相加为1这个条件肯定得是天然满足的，换成求最小值：  
![在这里插入图片描述][20200803175336862.gif_pic_center]  
同样利用拉格朗日乘子法，我们令：  
![在这里插入图片描述][20200803175523112.gif_pic_center]  
我们让L对 p i p\_\{i\} pi求导得：  
![在这里插入图片描述][20200803175914376.gif_pic_center]  
  可以看到，每一个 p i p\_\{i\} pi都是一个相等的常数，又因为相加为1，所以每一个取值发生的概率都相等并且为1/K。因此，不知道任何已知条件的情况下，离散的随机变量均匀分布时，它的熵最大。

# 3.最大熵原理 #

我们设数据集为 ( x 1 , x 2 , . . . , x N ) (x\_\{1\},x\_\{2\},...,x\_\{N\}) (x1,x2,...,xN)。  
  最大熵原理认为：在所有可能的概率模型中，熵最大的模型为最好的概率模型。求最大熵模型的步骤大致为：

1.  根据已知约束条件筛选出可能的概率模型
2.  在所有可能的概率模型中选出一个熵最大的模型作为最终的模型。

## 3.1构造约束条件 ##

我们第一步要根据已知条件筛选出可能的概率模型，那么什么才是已知条件？这个需要我们自己构造，构造步骤如下：

*  我们定义一个f(x)，f(x)是任意一个关于随机变量x的函数，我们称它为**特征函数。**
 *  根据我们上面给出的训练数据集，我们可以得到f(x)的经验分布为 p ^ ( f ( x ) ) \\hat\{p\}(f(x)) p^(f(x))，进而求得其经验分布的期望为： E p ^ \[ f ( x ) \] E\_\{\\hat\{p\}\}\[f(x)\] Ep^\[f(x)\]=一个已知量。
 *  解释一下经验分布： p ^ ( f ( x 1 ) ) \\hat\{p\}(f(x1)) p^(f(x1))= x 1 x\_\{1\} x1在训练集中出现的次数/样本集的总数目。

**为什么我们要定义一个经验概率分布呢？** 因为如果我们判断的随机变量x的概率分布是正确的，**那么我们定义一个任意一个特征函数f(x)，算出它的经验概率分布的期望，应该就等于f(x)真实的期望，这样我们就构造了一个约束条件。**

## 3.2求解概率分布 ##

那么我们最终要求解的就是：  
![在这里插入图片描述][20200803183816907.gif_pic_center]

其中 δ \\delta δ已知。利用拉格朗日乘子法，我们令：  
![在这里插入图片描述][20200803183211298.gif_pic_center]  
其中 λ 0 是 一 个 常 数 ， λ 是 一 个 列 向 量 ， \\lambda\_\{0\}是一个常数，\\lambda是一个列向量， λ0是一个常数，λ是一个列向量，f(x)也是一个列向量，它们都是Q维。我们让L对 p ( x ) p(x) p(x)求导得：  
![在这里插入图片描述][20200803184448905.gif_pic_center]于是我们就得到了 p ( x ) p(x) p(x)的具体值，也就是x的具体分布。剩余参数可以通过KKT条件来求，这里就不再叙述了，具体可以参考：[强对偶性、弱对偶性以及KKT条件的证明（对偶问题的几何证明）][KKT]

[Link 1]: https://blog.csdn.net/Cyril_KI/article/details/107162316
[20200706170143271.gif_pic_center]: /images/20230208/3217f2a4aa9d4c3a9f4a71024b5984a4.png
[20200706170319733.gif_pic_center]: /images/20230208/d35ab22273ff4d53a92a2934d8e825e7.png
[20200706171239329.gif_pic_center]: /images/20230208/9cceacc4313342f2acd37af594f0b4ed.png
[20200706171854315.gif_pic_center]: /images/20230208/065286c71f72414f93bba8b52f43ce31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]: /images/20230208/705c3d2d38d9477dab58edd043d4f569.png
[20200706173226315.gif_pic_center]: /images/20230208/5255c1590bac4c5bb57781ea050b0d45.png
[20200706173929557.png_pic_center]: /images/20230208/717c1eea328a44389e9f6c518fb782a7.png
[20200706174255232.gif_pic_center]: /images/20230208/974dbaaefc0f4615bdc39da51a7b9ef0.png
[20200706174515522.gif_pic_center]: /images/20230208/2af7240aa8694bd3a2eb6492de9498f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230208/481fd462dd054b7aa41d5f19361af0d3.png
[20200706174828740.gif_pic_center]: /images/20230208/8d8452c4373744d9900bb7bfab318e6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20230208/18cf20a9e4664b72a9b00b8bc3283306.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20230208/181fa065963547bca16602a9cfeb09ef.png
[20200706175717325.gif_pic_center]: /images/20230208/b20cf7518a6349ce914764a3f1199066.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20230208/748c108d4c0f4d5bbf4f55d91a7aad88.png
[20200803175220260.gif_pic_center]: /images/20230208/5e0bc42b5af64290a8210d097c810570.png
[20200803175336862.gif_pic_center]: /images/20230208/7e312a28b28a4c56b4d1bd6ea882eb7c.png
[20200803175523112.gif_pic_center]: /images/20230208/87c7214b6c574179a4190d7f9b04bc03.png
[20200803175914376.gif_pic_center]: /images/20230208/df66936a157a49ed90343003ca95702f.png
[20200803183816907.gif_pic_center]: /images/20230208/e5dba57715574d1596a991e7a128cdaa.png
[20200803183211298.gif_pic_center]: /images/20230208/efc5a203b1764ce6879f4430cc2d9e67.png
[20200803184448905.gif_pic_center]: https://img-blog.csdnimg.cn/20200803184448905.gif#pic_center
[KKT]: /images/20230208/fe09d01a8db34bc88ec60b44e2ad266d.png