深度学习的优化器总结

末蓝、 2023-03-12 15:27 21阅读 0赞

深度学习（一般指深度神经网络DNN）有几个关键的要素：训练集，网络结构，损失函数（目标函数），优化方法。这里记录一下优化方法相关知识点吧。

## 为什么使用优化器 ##

训练DNN时，我们的目标是更新网络参数以使得损失函数最小化，optimizer就是更新参数的方法。不同的optimizer都遵循一个基本原则：  
![在这里插入图片描述][2020050911314615.png]  
![\\eta][eta]是学习率，也就是每次参数更新的程度。根据是否改变学习率，可以将optimizer分为两大派别。

## 2. 学习率固定的optimizer ##

**1) BGD**：`Batch gradient descent`，即在整个训练集上`forward`和`backward`一次，然后更新一次参数。缺点：收敛速度慢，大量重复计算。

**2) SGD**：`Stochastic gradient descent`，即在每一个训练样本上`forward`和`backward`一次，然后更新一次参数。优点：收敛速度快；缺点：波动大。

**3) mini-batch SGD**：将训练集分为小的批次（`batch`），在每一个批次上`forward`和`backward`一次，然后更新一次参数。中和了前两个。一般所说的SGD即为`mini-batch SGD`。

**4) momentum SGD 动量**：

更新当前参数时既考虑当前梯度，又考虑之前的梯度（称之为动量）。  
![在这里插入图片描述][20200509113435880.png]  
**5) Nesterov SGD 牛顿动量**:

添加了校正因子的`momentum`, 即先用旧的动量更新一遍参数，然后再依据`momentum`的流程走。

![在这里插入图片描述][20200509113510138.png]  
上述两种动量方法都加速了学习速率，牛顿法添加了校正因子，进一步优化了原始动量方法。

## 3. 改变学习率的optimizer ##

上述方法学习率均固定，然而选择学习率又是很困难的，太小会使得收敛速度太慢，训练花费时间太长，太大又会产生波动（可能会跨过最优点）。可以参考下面两张图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]  
**1) AdaGrad SGD：**

每次迭代都会改变学习率，其目的是在平缓的地方使用大学习率，在陡峭的地方使用小学习率，使得收敛速度快的同时防止波动。r 是更新学习率时用的，由公式可知，越平缓，梯度g越小，r越小，则学习率增大（实现平缓处用大梯度）。\\sigma为一个小常数，为了防止分母为0。

其中学习率的改变取决于梯度平方的累积（梯度累积为指数累积）（第二个公式）。  
![在这里插入图片描述][2020050911362180.png]  
**2) RMSProp SGD:**

与`AdaGrad`类似，改进梯度累积为指数衰减的移动平均，对非凸函数友好。![\\rho][rho]为衰减指数，指的是对于遥远的过去信息使用量较小。  
![在这里插入图片描述][20200509113656555.png]  
**3) RMSProp + Nesterov**

RMSProp也可以结合动量，既使用了动量又改变了学习率，从两个方面改进优化算法。公式如下，红色部分是RMSProp梯度衰减累积部分，黑色是牛顿动量部分。  
![在这里插入图片描述][20200509113736373.png]  
**4) Adam SGD (Momentum + RMSProp):**

结合了`momentum`和`RMSProp`，同时也引入了修正项（即衰减的指数梯度累积，和衰减的动量累积）  
![在这里插入图片描述][20200509113751521.png]  
一般来说，使用动量且改变学习率，会使得收敛加速且减少波动，因此，`adam SGD较`为流行。

[2020050911314615.png]: /images/20230312/14955efb37064f2f97714fe6af75893c.png
[eta]: /images/20230312/41c049a7b3d44f7797af497a42abddef.png
[20200509113435880.png]: /images/20230312/93795cf37a2940fd87772464a3ca716f.png
[20200509113510138.png]: /images/20230312/0117ce03c3ac442bb165eb1ebfb0dd75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: /images/20230312/5ab18d2df9d940adb03dbd1f3a80104b.png
[2020050911362180.png]: /images/20230312/80c8d46bda9d469f9b705b77e3fdf840.png
[rho]: /images/20230312/f21d6f17696343b3b9403f1fc09fb2c3.png
[20200509113656555.png]: /images/20230312/74d0f4a0e2a14600ab64546cf04ae335.png
[20200509113736373.png]: /images/20230312/af04771e5ad649b2bbfe0dab4e657cb3.png
[20200509113751521.png]: /images/20230312/a7b1fbf11c0f4e56bf3fc5a614206a19.png