怎样构建深度学习模型？六步走，时刻小心过拟合 | 入门指南

雨点打透心脏的1/2处 2022-05-20 01:11 184阅读 0赞

想要训练个深度神经网络，也准备好了可以直接用的数据，要从哪里开始上手？

来自美国的Harry Khanna，精心编织了一套六步法。大家可以瞻仰一下，然后决定要不要行动。

整个过程中，过拟合的问题时时刻刻都要注意。

# 1. 选个损失函数 #

选择怎样的损失函数，取决于需要解决怎样的问题。

如果是回归问题，就可以用均方误差 (MSE) 损失函数。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

如果是分类问题，就用交叉熵 (Cross-Entropy) 损失函数。

只有两类的话，要用二值交叉熵 (Binary Cross-Entropy) 。

如果遇到了不常见的问题，比如一次性学习 (One-Shot Learning) ，可能就要自行定制一个损失方程了。

# 2. 选个初始架构 #

说到结构化学习，比如预测销售情况，从全连接的隐藏层开始，是个不错的选择。

这一层的激活数 (Number of Activations) ，要在输入神经元与输出神经元的数量之间。

两者取个平均数，就可以。

像下面这样的取法，也可以。

![640?wx\_fmt=png][640_wx_fmt_png]

Ni，是输入神经元数。  
No，是输出神经元数。  
Ns，训练集里的样本数。  
a，尺度因子，在2到10之间选。

对计算机视觉领域的小伙伴来说，像ResNet这样的架构，就很友好。

# 3. 拟合训练集 #

这一步，最重要的超参数，是学习率 (Learning Rate) (α) 。

不需要试错，fast.ai的库里面，有一个rate finder。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

只要写两行代码，就可以得到一个学习率的曲线。

![640?wx\_fmt=png][640_wx_fmt_png 1]

在损失还在明显下降的区域，选取学习率——

比如，最陡部分的旁边一点点，损失仍在剧烈下降，没有到平坦的地方。

上图的话，10\-4就可以。

如果，模型训练还是很慢，或者效果不好的话，可以用Adam优化，代替初始架构里的随机梯度下降 (SGD) 优化。

这时候，如果模型还是不能和训练集愉快玩耍，考虑一下学习率衰减 (Learning Rate Decay) ——

有指数衰减，离散阶梯衰减 (Discrete Staircase Decay) ，甚至还有一些手动方法，人类可以在损失不再下降的时候，自己把学习率 (α) 往下调。

其中，余弦型 (Cosine) 衰减，在一个回合 (Epoch) 开始的时候，衰减最慢，中间最快，结束时又最慢。

![640?wx\_fmt=gif][640_wx_fmt_gif]

然后，可以加上一个“重启 (Restart) ”功能。这样，每 (几) 个回合开始时，学习率都会回到没有衰减的状态。

迁移学习的话，要把开始几层解冻 (Unfreeze) ，然后用差分学习率来训练神经网络。

如果，训练集还是不开心，还有另外几个超参数可以调整——

· 隐藏层的unit数  
· 小批量 (Minibatch) 的大小：64，128，256，512……  
· 隐藏层数

还不行的话，就要看目标能不能再细化一下。

![640?wx\_fmt=gif][640_wx_fmt_gif 1]

输入的训练数据，可能并没有预测输出值所需的有效信息。

举个栗子，仅仅基于股票的历史价格，来预测未来走势，就很难。

# 4. 拟合验证集 #

这一步，是最难的，也最花时间。

怎样才能解决训练集上的过拟合问题？

## 丢弃 (Dropout) ##

把训练集中的一些神经元，随机清零。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

那么，概率 (p) 要怎么设置？

虽然，没有万能之法，但还是有一些可以尝试的方法——

找到p=0.25的最后一个线性层，对这之前 (包含本层) 的那些层，执行随机抛弃。

然后，在把p往上调到0.5的过程中，实验几次。

如果还是不行，就给再往前的线性层，也执行随机丢弃操作，还是用p=0.25到0.5之间的范围。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

并没有通天大法，所以有时候还是要试错，才能知道在哪些层里，取多大的p，更有效。

## 权重衰减/L2正则化 (Weight Decay/ L2 Regularization) ##

第二小步，加上权重衰减。就是在损失函数里面添加一项——

![640?wx\_fmt=png][640_wx_fmt_png 2]

λ，是正则化超参数。

wj，是权重矩阵w里面的特征j。

n，是权重矩阵w里的特征数。

过拟合的其中一个原因，就是权重大。而权重衰减，可以有效打击大权重。

## 输入归一化 (Normalize Inputs) ##

减少过拟合的第三小步，就是把输入特征的均值和方差，各自除以训练集，归一化。

特征x1除以训练样本总数m，要等于0，方差要等于1。x2，x3…也一样。

![640?wx\_fmt=png][640_wx_fmt_png 3]

μ向量，维数等于单个训练样本的输入特征数。

x是一个n x m矩阵，n是输入特征数，m是训练样本数。

x-μ，就是x的每一列都要减掉μ。

标准差归一化的公式，看上去就比较熟悉了——

![640?wx\_fmt=png][640_wx_fmt_png 4]

注意，要归一化的是，除以训练样本总数m，之后的均值和方差，不是除以每个样本的特征数n。

再注意，是用训练集的均值和方差，不是验证集。

## 批量归一化 (Batch Normalization) ##

上一小步，归一的是输入特征，而这里，要把隐藏层神经元的均值和方差归一化。

和之前一样的是，用了训练集的均值和方差，来调教验证集。

![640?wx\_fmt=gif][640_wx_fmt_gif 2]

###### △ 不支持一次吃太多 ######

不同的是，要一小批一小批地进行，并非整个训练集一步到位。

这种情况下，可以使用均值和方差的指数加权平均 (exponentially weighted average) ，因为有很多的均值，和很多的方差。

## 多点训练数据、数据扩增 ##

根据经验，过拟合最好的解决办法，就是增加训练数据，继续训练。

如果没有太多数据，就只好做数据扩增。计算机视觉最爱这种方法，调光，旋转，翻转等等简单操作，都可以把一张图变成好几张。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 4]

不过，在结构化数据和自然语言处理中，数据扩增就没有什么栗子了。

## 梯度消失，梯度爆炸 ##

梯度消失 (Vanishing Gradients) ，是指梯度变得很小很小，以至于梯度下降的学习效果不怎么好。

梯度爆炸 (Exploding Gradients) ，是指梯度变得很大很大，超出了设备的计算能力。

解决这两个问题，第一条路，就是用一种特殊的方式把权重矩阵初始化——名曰“He Initialization”。

不是第三人称，是出自何恺明等2015年的论文：  
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification。

把权重矩阵W\[l\]，变成一个均值为零的高斯分布。标准差长这样：

![640?wx\_fmt=png][640_wx_fmt_png 5]

效果意想不到的好，梯度消失和爆炸，都少有发生了。

如果是训练自然语言处理RNN，LSTM是首选，也是一种减少梯度消失或爆炸的方式。

出现NaN，很可能就是梯度爆炸了。

![640?wx\_fmt=gif][640_wx_fmt_gif 3]

一个简单粗暴的处理方式是，梯度裁剪 (Gradient Clipping) ，给梯度设一个上限。超出了限制，梯度就会被切。

## 神经网络架构搜索 ##

有时候调整超参数没什么用，不管怎么调，验证集的loss还是比训练集高好多。

这时候就该好好看看神经网络的架构了。

输入里有太多特征、隐藏层太多激活数，都可能会导致神经网络拟合了训练集里的噪音。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 5]

这时候就要调整隐藏层的神经元数量，或者增减隐藏层的数量。

这个过程需要试错，可能要试过很多架构才能找到一个好用的。

# 5. 在测试集上检验性能 #

当神经网络在训练集和验证集上都表现良好，要保持警惕：优化过程中，有可能一不小心在验证集上过拟合了。

上一步拟合验证集时，超参数都向着在验证集上优化的方向调整。于是，这些超参数有可能将验证集中的噪音考虑了进去，模型对新数据的泛化能力可能很差。

所以，到了这一步，就要在一个没见过的测试集上来运行神经网络，确认还能取得和验证集上一样的成绩。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 6]

如果在测试集上表现不好，就要通过增加新数据或者数据增强（data augmentation）的方式，扩大验证集规模。

然后重复第4、5步。

注意：不要根据测试集损失来调整超参数！这样只能得到一个对训练集、验证集和测试集都过拟合了的模型。

# 6. 在真实世界中检验性能 #

如果你训练了一个猫片识别器，就喂它一些你的猫片；

![640?wx\_fmt=png][640_wx_fmt_png 6]

如果你训练了一个新闻稿情绪识别器，就喂它一些微软最近的新闻。

如果这个神经网络在训练、验证、测试集上表现都不错，到了现实世界却是个渣渣，那一定出了什么问题。比如说，有可能过拟合了测试集。

这时候就需要换个验证集、测试集，看看模型表现怎么样。如果这个现实世界的渣渣依然表现良好，那么问题可能出在损失函数身上。

这种情况，还是挺少见的。

一般只要成功熬到第6步，模型在现实世界里都挺厉害的。

# 来，我们回顾一下 #

刚才讲的这么多，最后可以汇集成下面这个checklist：

*  第1步：损失函数
    
     *  回归问题用MSE
     *  多类别分类问题用交叉熵
     *  二分类问题用二值交叉熵
 *  第2步：初始神经网络架构
    
     *  结构化学习：一个激活数在输入输出神经元数之间的全连接层
     *  计算机视觉：从ResNet开始
 *  第3步：训练集
    
     *  用learning rate finder来选学习率
     *  Adam优化
     *  余弦学习率衰减
     *  学习率重启
     *  如果做迁移学习，尝试一下可微分学习率
     *  隐藏层的神经元数量
     *  minibatch大小
     *  隐藏层数量
 *  第4步：验证集
    
     *  Dropout
     *  L2正则化
     *  输入特征归一化
     *  批量归一化
     *  数据扩增
     *  为训练集补充数据
     *  梯度消失或爆炸
        
         *  He初始化
         *  用LSTM神经元
         *  梯度裁剪
     *  调整神经网络架构
 *  第5步：测试集
    
     *  如果有问题，扩大验证集，回到第4步
 *  第6步：真实世界
    
     *  如果有问题，换个验证集和测试集，回到第4步

— 完 —

[640_wx_fmt_jpeg]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeuIfJuQ6bdGnOKBZ2jRLwW4OtiaadyMouzhE548zj3icjJ0IHeMTnichIQ/640?wx_fmt=jpeg
[640_wx_fmt_png]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeonyiaXccy22Vzx5XRicI23475aImbv8EW6GILibXDHHiazReiaZDK4SX8Wg/640?wx_fmt=png
[640_wx_fmt_jpeg 1]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe7icMOqOCCRbraGjVQGtyx1ybLZXUTvrtuNNzWwA5pIWFwS2tnncgvkw/640?wx_fmt=jpeg
[640_wx_fmt_png 1]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeS68e3MkW4AdFFsuh4tn5clJriajmfsLceiasmSkl4I83iciaMkYoTGO95Q/640?wx_fmt=png
[640_wx_fmt_gif]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe8ZCLib0K3IlI5fZUhaliaJK9DajAwfH7pVsicJ0F4Hkl7uC8ftmKl4Ptg/640?wx_fmt=gif
[640_wx_fmt_gif 1]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJepIqXicsfsScD49d9hpz5BF0XSJiag7iaorZzR1XJ1AJsLNqfnggUepYQg/640?wx_fmt=gif
[640_wx_fmt_jpeg 2]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeib1WN1kHicfFBkiaB6sXibu0XRWfLRf4SFjcR6AgR8Tk1wIcYu3zict0rnQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 3]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJesPo7yI7S0Q2OHoBiav8HzsH0ToJxqlprIwOTQKQZHk7OtibjOe0OGx0g/640?wx_fmt=jpeg
[640_wx_fmt_png 2]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJebOlTibK8G1MS9atnS12TwBolAIUaI1tWrHslNmrYJrpe9lquiaYxhOCA/640?wx_fmt=png
[640_wx_fmt_png 3]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe3h7qgmk2H6Y1BFibDVlkVxn9TzGy49DwbUbDtib1I3VNNewXRnBeSwKw/640?wx_fmt=png
[640_wx_fmt_png 4]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe4nn5ibOOUvWfaq0gpf3GcYmsSiafuun5zsRCw6oqNp89K43IjWHialudA/640?wx_fmt=png
[640_wx_fmt_gif 2]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe3hC5yWZ1XmywmrLx6oWLia6VGFIS6W9KwjwtN9I3GicZVBQQXiaB9rShQ/640?wx_fmt=gif
[640_wx_fmt_jpeg 4]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJenKTOETslKcOgDb5TjiaFia0a5USp68q7R0K0fZbNkrQNYicAfia4UmV0PQ/640?wx_fmt=jpeg
[640_wx_fmt_png 5]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJe1XXL2RtBhkjCj9mLwCxeRxTna6N4ic8qDuEuu1uPeVd6toSTronGoqw/640?wx_fmt=png
[640_wx_fmt_gif 3]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeYv9h0Xm9dldVUSxt3500pmdl0G5ZKDCxbBkWibTIJe0faeoVkE1z40A/640?wx_fmt=gif
[640_wx_fmt_jpeg 5]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeG1jvVXLdO9ic8ia8kBaRsicv1ickzsV2sI4WHjxY1Z8RhVhYnAvz22NEuQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 6]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJeeXgblUSfHhlDM1JsOGpXZxoh5q353yQUrATN8SrMJP0Z2kdVwVvwFw/640?wx_fmt=jpeg
[640_wx_fmt_png 6]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtCMhcHOWGL7pUEgdmAfjVJefv4DIqL8EFo3VDZicW9IWWPqfTVk250CyMJIwAVG8Xzaa1Lp2YicpgMw/640?wx_fmt=png