机器学习的角度重视大数定律及Python实现，So Easy

柔光的暖阳◎ 2022-09-13 06:18 195阅读 0赞

### 文章目录 ###

*  内容介绍
 *  大数定律
 *  独立同分布
 *  回归均值
 *  真大数定律
 *  随机示例
 *  对机器学习的影响

# 内容介绍 #

我们有一种直觉，即观察越多越好。

这与以下想法背后的直觉相同，即如果我们收集更多数据，我们的数据样本将更能代表问题域。

统计和概率中有一个定理支持这种直觉，它是这两个领域的支柱，并且在应用机器学习中具有重要意义。这个定理的名字是大数定律。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]

# 大数定律 #

工作示例

该大数定律是概率和统计的定理表明，来自重复实验结果的平均值多次将更好地逼近真实的或预期的潜在结果。

> 《Naked Statistics: Stripping the Dread from the Data》2014年  
> The law of large numbers explains why casinos always make money in the long run.  
> 大数定律解释了为什么赌场从长远来看总是赚钱。

我们可以将实验的试验视为一次观察。实验的独立和独立重复将执行多次试验并导致多次观察。实验的所有样本观测值均来自理想化的观测值总体。

*  **观察：** 一项实验的结果。
 *  **样本：** 从单独的独立试验中收集的一组结果。
 *  **人口：** 可以从试验中看到的所有可能观察结果的空间。

使用统计中的这些术语，我们可以说随着样本量的增加，样本的平均值将更好地接近总体中的平均值或期望值。随着样本量趋于无穷大，样本均值将收敛到总体均值。

> 《All of Statistics: A Concise Course in Statistical Inference》2004 年  
> a crowning achievement in probability, the law of large numbers. This theorem says that the mean of a large sample is close to the mean of the distribution.  
> 概率方面的最高成就，大数定律。这个定理说大样本的均值接近分布的均值。

这是统计学和概率以及应用机器学习的重要理论发现。

# 独立同分布 #

重要的是要清楚样本中的观察必须是独立的。

这意味着试验以相同的方式运行，不依赖于任何其他试验的结果。这在计算机中通常是合理且容易实现的，尽管在其他地方可能很困难（例如，您如何实现相同的随机掷骰子）。

在统计学中，这种期望被称为“独立同分布”，或简称IID、iid或iid。这是为了确保样本确实来自相同的基本人口分布。

# 回归均值 #

大数定律帮助我们理解为什么我们不能孤立地相信来自实验的单一观察结果。

我们预计可能会出现单个结果或来自小样本的平均结果。这接近于集中趋势，即人口分布的均值。可能不是；事实上，这可能很奇怪或不太可能。

法律提醒我们在开始对结果的含义进行推断之前，要重复实验，以开发大量具有代表性的观察样本。

随着我们增加样本量，样本的发现或平均值将向总体均值方向移动，向真实的潜在预期值移动。这称为回归均值或有时回归均值。

这就是为什么我们必须对来自称为 small n 的小样本量的推论持怀疑态度。

# 真大数定律 #

与均值回归相关的是真正大数定律的思想。

这个想法是，当我们开始调查或处理非常大的观察样本时，我们会增加看到奇怪事物的可能性。通过拥有如此多的潜在人口分布样本，样本将包含一些天文罕见的事件。

同样，我们必须小心不要从单个案例中进行推断。

在运行查询和调查大数据时，这一点尤其重要。

# 随机示例 #

我们可以用一个小例子来证明大数定律。

首先，我们可以设计一个理想化的底层分布。我们将使用均值为 50 且标准差为 5 的高斯分布。因此，该总体的预期值或均值为 50。

下面是一些生成此理想化分布图的代码。

from numpy import arange
    from matplotlib import pyplot
    from scipy.stats import norm
    
    xaxis = arange(30, 70, 1)
    
    yaxis = norm.pdf(xaxis, 50, 5)
    
    pyplot.plot(xaxis, yaxis)
    pyplot.show()

运行代码会创建一个具有熟悉钟形形状的设计人口图。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]

现在，我们可以假装忘记我们对总体的了解，并从总体中制作独立的随机样本。

我们可以创建不同大小的样本并计算平均值。鉴于我们的直觉和大数定律，我们预计随着样本规模的增加，样本均值将更好地接近总体均值。

下面的示例计算不同大小的样本，然后打印样本均值。

from numpy.random import seed
    from numpy.random import randn
    from numpy import mean
    from numpy import array
    from matplotlib import pyplot
    
    seed(1)
    
    sizes = [10, 100, 500, 1000, 10000]
    
    means = [mean(5 * randn(size) + 50) for size in sizes]
    print(means)
    
    pyplot.scatter(sizes, array(means)-50)
    pyplot.show()

运行示例首先打印每个样本的均值。

随着样本量的增加，我们可以看到样本均值趋近于 50.0 的松散趋势。

还要注意，这个样本意味着也必须服从大数定律。例如，您可能会偶然获得具有小样本均值的非常准确的总体均值估计值。

[49.5142955459695, 50.371593294898695, 50.2919653390298, 50.1521157689338, 50.03955033528776]

该示例还创建了一个图，将样本大小与样本均值与总体均值的误差进行比较。一般来说，我们可以看到样本量越大误差越小，我们预计这种趋势平均会持续下去。

我们还可以看到，一些样本意味着高估和一些低估。不要陷入假设低估会落在一侧或另一侧的陷阱。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]

# 对机器学习的影响 #

大数定律在应用机器学习中具有重要意义。

让我们花点时间来强调其中的一些含义。

**训练数据**

用于训练模型的数据必须代表领域中的观察结果。

这实际上意味着它必须包含足够的信息来概括真实的未知和潜在的总体分布。

这对于模型的单个输入变量很容易概念化，但当您有多个输入变量时也同样重要。输入变量之间将存在未知的关系或依赖关系，并且输入数据将代表一个多元分布，从中抽取观察值以构成您的训练样本。

在数据收集、数据清理和数据准备期间请记住这一点。

您可以选择通过对观测值（例如，异常值）设置硬限制来排除基础总体的部分，在这些地方您预计数据太稀疏而无法有效建模。

**测试数据**

对训练数据集的思考也必须被赋予测试数据集。

对于训练/测试数据盲目使用 80/20 spit 或盲目使用 10 倍交叉验证，即使在可用数据的 1/10 大小可能不是合适代表的数据集上，这一点也经常被忽略来自问题域的观察结果。

**模特技能评估**

在展示模型对未知数据的估计技能时，请考虑大数定律。

它提供了一种防御，而不是简单地报告或继续基于来自单个训练/测试评估的技能分数的模型。

它强调了开发给定模型的多个独立（或接近独立）评估样本的必要性，以便从样本中报告的平均技能是对总体均值的足够准确的估计。

**扩展思考**

*  头脑风暴机器学习的另外两个应用大数定律的领域。
 *  找出五篇你对大数定律的结果持怀疑态度的研究论文。
 *  开发您自己的理想分布和样本，并绘制样本大小和样本平均误差之间的关系。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/1e465a0bf1d04745941c823c2d67c5cc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/1a0a7d3702d74c2a8d5da4db76ee3da2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/66daedc1e097482b8d8e7045d990f980.png