机器学习必须要会的：方差、标准差、相对标准偏差、正态分布的概念

清疚 2022-10-06 11:59 584阅读 0赞

### 文章目录 ###

*  什么是方差（Variance）
 *   *  方差公式的含义（为什么方差公式长这个样子）
     *  总体方差
     *  样本方差
     *   *  为什么样本偏差要是n-1
 *  什么是标准差（Standard Deviation）
 *  什么是相对标准偏差（Relative Standard Deviation）
 *  什么是正态分布（Normal Distribution）
 *   *  正态分布的性质
 *  参考文献

# 什么是方差（Variance） #

方差描述了一组数据距离他们平均值的离散程度。（Variance measures the dispersion of a set of data points around their mean）

例如，如果一个班的平均分是50分，可能有两种极端情况：

1.  **大部分人都在50左右附近徘徊**：这种情况，说明数据集的每个数据距离平局值较近，**离散程度小**，**方差较小**
2.  **一半人接近一百分，另一半人接近0分**：这种情况说明数据集的每个数据距离平局值较远，**离散程度大，方差较大**

这样，我们就可以通过对比两个班的方差，来计算哪个班的成绩比较稳定。

**方差分为两种**：

*  样本方差（Sample Variance）：样本方差只选取整体数据的一部人来计算。当我们很难获取到整体数据时，就可以使用样本方差。公式如下： S 2 = ∑ i = 1 n ( x i − x ˉ ) 2 n − 1 S^2 = \\frac\{\\sum^\{n\}\_\{i=1\} (x\_i-\\bar\{x\})^2\}\{n-1\} S2=n−1∑i=1n(xi−xˉ)2
 *  总体方差（Population Variance）：使用所有数据来计算方差。公式如下： σ 2 = ∑ i = 1 N ( x i − μ ) 2 N \\sigma^2 = \\frac\{\\sum\_\{i=1\}^\{N\} (x\_i -\\mu)^2\}\{N\} σ2=N∑i=1N(xi−μ)2

总体方差的符号为  σ 2 \\sigma^2 σ2，样本方差的符号为  S 2 S^2 S2

## 方差公式的含义（为什么方差公式长这个样子） ##

我们把重点放在分子上： ∑ i = 1 n ( x i − x ˉ ) 2 \\sum^\{n\}\_\{i=1\} (x\_i-\\bar\{x\})^2 ∑i=1n(xi−xˉ)2

x i − x ˉ x\_i-\\bar\{x\} xi−xˉ : **距离平均值越小的数据，该结果越小，距离平均值越大的数据，该值越大。**

那为什么又要加一个平方呢？ ( x i − x ˉ ) 2 (x\_i-\\bar\{x\})^2 (xi−xˉ)2，主要有两个目的：

1.  **消除负数**：如果不平方的话就会有负值存在，这样一求和，正负抵消了。
2.  **放大远距离数据的影响力**：平方嘛，数据越大，平方后的结果就越大，这样可以更好的描述数据的离散程度

## 总体方差 ##

总体方差公式如下：

σ 2 = ∑ i = 1 N ( x i − μ ) 2 N \\sigma^2 = \\frac\{\\sum\_\{i=1\}^\{N\} (x\_i -\\mu)^2\}\{N\} σ2=N∑i=1N(xi−μ)2

其中， μ \\mu μ 为总体数据的平均值， N N N 为总数， x i x\_i xi 为每个数据的值

## 样本方差 ##

样本方差的公式如下：

S 2 = ∑ i = 1 n ( x i − x ˉ ) 2 n − 1 S^2 = \\frac\{\\sum^\{n\}\_\{i=1\} (x\_i-\\bar\{x\})^2\}\{n-1\} S2=n−1∑i=1n(xi−xˉ)2

其中， x ˉ \\bar\{x\} xˉ 为样本数据的平均值， n n n 为样本的总数， x i x\_i xi 为每个数据的值

### 为什么样本偏差要是n-1 ###

简单来说，如果不减1的话，那么样本方差一定大于等于总体方差。

数学证明如下（假设样本方差不减1）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70]  
由上式子可以看出，除非当  X ˉ = μ \\bar\{X\}=\\mu Xˉ=μ 时，否则一定有![在这里插入图片描述][2021061412442045.png]  
而在实践中，我们无法得知总体数据的平均值，所以就通过对  n − 1 n-1 n−1 的方式将样本方差稍微增大，以减少与实际方差的误差。

补充，上述式子，稍有难理解的地方：

2 n ∑ i = 1 n ( X i − μ ) = 2 n ( ( X 1 − μ ) + ( X 2 − μ ) + ⋯ + ( X n − μ ) ) = 2 ( X 1 + X 2 + ⋯ + X n ) n − 2 n ∗ n ∗ μ = 2 X ˉ − 2 μ = 2 ( X ˉ − μ ) \\begin\{aligned\} \\frac\{2\}\{n\} \\sum^\{n\}\_\{i=1\}(X\_i - \\mu) = & \\frac\{2\}\{n\} ((X\_1 - \\mu) + (X\_2 - \\mu) + \\cdots + (X\_n - \\mu)) \\\\\\\\ = & 2\\frac\{(X\_1 + X\_2 +\\cdots + X\_n)\}\{n\} - \\frac\{2\}\{n\} \* n\* \\mu \\\\ \\\\ = & 2\\bar\{X\} - 2\\mu \\\\ \\\\ = & 2(\\bar\{X\} - \\mu) \\end\{aligned\} n2i=1∑n(Xi−μ)====n2((X1−μ)\+(X2−μ)\+⋯\+(Xn−μ))2n(X1\+X2\+⋯\+Xn)−n2∗n∗μ2Xˉ−2μ2(Xˉ−μ)

# 什么是标准差（Standard Deviation） #

学过数学的都知道，把方差开平方就是标准差。

*  **总体标准差**：符号  σ \\sigma σ， σ = σ 2 \\sigma = \\sqrt\{\\sigma^2\} σ=σ2
 *  **样本标准差**：符号 S S S， S = S 2 S = \\sqrt\{S^2\} S=S2

那么为什么有了方差，还要引入标准差呢，或者说，为什么开了方，就是标准差呢？

其实，这是**为了保证使数据的量纲保持一致**。举例来说：

一个班的平局身高为170cm。该班身高的标准差为10cm，方差为100cm

从这个例子就可以看出，通过标准差，我们我可以看出，该班学生的身高大概围绕着170cm上下10cm进行浮动。但是看方差却看不出个所以然

# 什么是相对标准偏差（Relative Standard Deviation） #

**相对标准偏差**（Relative Standard Deviation）也可以称为**相对标准差**，**变异系数**，**标准偏差系数**（Coefficient of Variation，CV）。

有了标准差了，为什么又要搞一个**相对标准偏差**呢？

来看下面这个例子：

假设一个汉堡在美国的不同地区的价格不一样，分别为：1,2,3,4,5,6,7,8,9,10

若现在的美元兑中国的汇率是1:6，那么使用RMB买，价格为：6,12,18,24,30,36,42,48,54,60

那么根据这两个数据，我们很容易得到两组数据：

此时，你拿着这组数据说，RMB买买汉堡时，离散程度（波动程度）要远大于美元。这显然是不合适的。 所以此时，**为了针对单位不一致时可以更准确的说明两组数据的离散程度**，就引入了**相对标准偏差**。计算公式也很简单，只需要**用标准差除以平均值就是相对标准偏差**

*  **总体相对标准偏差**： C V = σ μ CV=\\frac\{\\sigma\}\{\\mu\} CV=μσ
 *  **样本相对标准偏差**： C V = S x ˉ CV=\\frac\{S\}\{\\bar\{x\}\} CV=xˉS

此时，我们再对上述两组数据进行比较：

<table> 
 <thead> 
  <tr> 
   <th>地区</th> 
   <th>平均值</th> 
   <th>方差</th> 
   <th>标准差</th> 
   <th>相对标准偏差</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>美国</td> 
   <td>5.5</td> 
   <td>8.25</td> 
   <td>2.87228</td> 
   <td>2.87228 / 5.5 = 0.522</td> 
  </tr> 
  <tr> 
   <td>中国</td> 
   <td>33</td> 
   <td>297</td> 
   <td>17.23369</td> 
   <td>17.23369 / 33 = 0.522</td> 
  </tr> 
 </tbody> 
</table>

通过对比相对标准偏差，我们可以看到，其实这两组数据的离散程度是一致的

# 什么是正态分布（Normal Distribution） #

讨论完上面的，就可以开始说正态分布了。

正态分布，英文为**Normal Distribution**，顾名思义：正常的分布。

生活中大部分数据分布并不是均匀的，例如：收入水平、考试成绩。这些数据都有一个特征：**中间数据量多，两边数据量少**。最终形成如下图所示的分布情况：

![在这里插入图片描述][20210613163215737.png]  
如果实际举例，横坐标为工资，那纵坐标就是人数。中间的  μ \\mu μ 为平均工资。

正态分布函数图像的方程式如下：

f ( x ) = 1 2 π σ exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x) = \\frac\{1\}\{\\sqrt\{2\\pi\} \\sigma\} \\exp(-\\frac\{(x-\\mu)^2\}\{2\\sigma^2\}) f(x)=2πσ1exp(−2σ2(x−μ)2)

该公式中，包含一个自变量  x x x，两个常量  μ \\mu μ 和  σ \\sigma σ ，其中  μ \\mu μ 是指总体平均值， σ \\sigma σ是标准差。该公式记做：

X ∼ N ( μ , σ 2 ) X \\sim N (\\mu, \\sigma^2) X∼N(μ,σ2)

读作**X服从正态分布**。

## 正态分布的性质 ##

我们根据下图这个例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 1]  
绿色的线表示婴儿出生时的身高（单位英尺）分布，蓝色的线表示成人的身高分布。这两个数据都符合正态分布。

其中可以看出，绿色的平均值 20，即  μ 绿 = 20 \\mu\_绿 = 20 μ绿=20，而蓝色的平均值是70，即  μ 蓝 = 70 \\mu\_蓝=70 μ蓝=70。

所以，**正态分布中的平均值  μ \\mu μ 是用来决定图的中线在哪里**

除此之外可以看出，绿色线的波动范围大概为  ± 5 \\pm 5 ±5 英尺，即标准差为5英尺  σ 绿 = 5 \\sigma\_绿=5 σ绿=5，蓝色线的波动范围大概是  ± 10 \\pm 10 ±10英尺，即标准差为10英尺  σ 蓝 = 10 \\sigma\_蓝=10 σ蓝=10。

所以，**正态分布的宽窄，是由标准差决定的**

再看，绿色线波动范围要小，所婴儿出生身高为20英尺的概率很大，而蓝色波动范围大，所以一个成年人身高为70英尺的概率相对就会小。所以蓝色线的高度远低于绿色线

所以，**正态分布的标准差越小，这个图像就会越高，标准差越大，就会越矮**

那么，另一个问题来了，有多少成年人是在  170 ± 10 170\\pm10 170±10上下浮动呢，可以通过该图进行说明：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 2]  
从图中可以看出，正态分布的主要三块面积为：

1.  68.27% 的数据落在  u ± σ u\\pm\\sigma u±σ的区间上
2.  95.45% 的数据落在  u ± 2 σ u\\pm2\\sigma u±2σ的区间上
3.  99.73% 的数据落在  u ± 3 σ u\\pm3\\sigma u±3σ的区间上

这个规则适用于所有的正态分布

--------------------

# 参考文献 #

[Variance, Standard Deviation, Coefficient of Variation][Variance_ Standard Deviation_ Coefficient of Variation]: https://youtu.be/wDAd\_QHKoOg

[Understanding the Normal Distribution \[Statistics Tutorial\]][Understanding the Normal Distribution _Statistics Tutorial]: https://youtu.be/IhtmW28slDw

[StatQuest: The Normal Distribution, Clearly Explained!!!][StatQuest_ The Normal Distribution_ Clearly Explained]: https://youtu.be/rzFX5NWojp0

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70]: /images/20221005/8d9717ef208f461f85287e74340b15e3.png
[2021061412442045.png]: /images/20221005/cec638463c9647cc9f51a0b1f3a14f38.png
[20210613163215737.png]: /images/20221005/f98233be16614b99abdeb77bbfab2a3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 1]: /images/20221005/1cbb40f72c8f497c9e53e902b116f773.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9ob25nZmVpXzM1OA_size_16_color_FFFFFF_t_70 2]: /images/20221005/7770956caa8f445e8c1c4039574a0c47.png
[Variance_ Standard Deviation_ Coefficient of Variation]: https://youtu.be/wDAd_QHKoOg
[Understanding the Normal Distribution _Statistics Tutorial]: https://youtu.be/IhtmW28slDw
[StatQuest_ The Normal Distribution_ Clearly Explained]: https://youtu.be/rzFX5NWojp0