深度学习超参数简单理解

桃扇骨 2022-05-22 06:50 247阅读 0赞

深度学习超参数简单理解(转)

说到这些参数就会想到Stochastic Gradient Descent (SGD)！其实这些参数在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。

Learning Rate

学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案。后面3中参数分别为：Weight Decay 权值衰减，Momentum 动量和Learning Rate Decay 学习率衰减。

![\\omega\_\{i\}\\leftarrow  \\omega\_\{i\} - \\eta \\frac\{\\partial E\}\{\\partial \\omega\_\{i\}\}][omega_i_leftarrow _omega_i_ - _eta _frac_partial E_partial _omega_i] ![\\omega\_\{i\}\\leftarrow  m\\cdot \\omega\_\{i\} - \\eta \\frac\{\\partial E\}\{\\partial \\omega\_\{i\}\}][omega_i_leftarrow m_cdot _omega_i_ - _eta _frac_partial E_partial _omega_i]

Weight decay

在实际应用中，为了避免网络的过拟合，必须对价值函数（Cost function）加入一些正则项，在SGD中加入![\\eta \\lambda \\omega \_\{i\}][eta _lambda _omega _i]这一正则项对这个Cost function进行规范化：

![\\omega\_\{i\}\\leftarrow  \\omega\_\{i\} - \\eta \\frac\{\\partial E\}\{\\partial \\omega\_\{i\}\} - \\eta \\lambda \\omega \_\{i\}][omega_i_leftarrow _omega_i_ - _eta _frac_partial E_partial _omega_i_ - _eta _lambda _omega _i]

上面这个公式基本思想就是减小不重要的参数对最后结果的影响，网络中有用的权重则不会收到Weight decay影响。

在机器学习或者模式识别中，会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。

Momentum

动量来源于牛顿定律，基本思想是为了找到最优加入“惯性”的影响，当误差曲面中存在平坦区域，SGD就可以更快的学习。

![\\omega\_\{i\}\\leftarrow  m\\cdot \\omega\_\{i\} - \\eta \\frac\{\\partial E\}\{\\partial \\omega\_\{i\}\}][omega_i_leftarrow m_cdot _omega_i_ - _eta _frac_partial E_partial _omega_i]

Learning Rate Decay

该方法是为了提高SGD寻优能力，具体就是每次迭代的时候减少学习率的大小。

![\\eta \\left( s \\right) =\\frac\{\\eta \_\{0\} \}\{1+s\\cdot \\eta \_\{n\}\}][eta _left_ s _right_ _frac_eta _0_ _1_s_cdot _eta _n]

点击这里：[Difference between neural net weight decay and learning rate][]

接下来是我在知乎查询到的一点资料（整理了供大家参考学习）：  
weight decay（权值衰减） 的使用既不是为了提高收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。  
momentum 是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为 ![x \\leftarrow  x-\\alpha \\ast dx][x _leftarrow x-_alpha _ast dx] , ![x][] 沿负梯度方向下降。而带momentum项的SGD则写生如下形式：  
![v=\\beta \\ast v -a\\ast dx\\\\][v_beta _ast v -a_ast dx]  
![x \\leftarrow  x+v][x _leftarrow x_v]  
其中 ![\\beta][beta] 即momentum系数，通俗的理解上面式子就是，如果上一次的momentum（即 ![v][] ）与这一次的负梯度方向是相同的，那这次下降的幅度就会加大，所以这样做能够达到加速收敛的过程。  
normalization （batch normalization）。batch normalization的是指在神经网络中激活函数的前面，将 ![wx+b][wx_b] 按照特征进行normalization，这样做的好处有三点：

1.  提高梯度在网络中的流动。Normalization能够使特征全部缩放到\[0,1\]，这样在反向传播时候的梯度都是在1左右，避免了梯度消失现象。
2.  提升学习速率。归一化后的数据能够快速的达到收敛。  
    
3.  减少模型训练对初始化的依赖。

[omega_i_leftarrow _omega_i_ - _eta _frac_partial E_partial _omega_i]: http://www.zhihu.com/equation?tex=%5Comega_%7Bi%7D%5Cleftarrow++%5Comega_%7Bi%7D+-+%5Ceta+%5Cfrac%7B%5Cpartial+E%7D%7B%5Cpartial+%5Comega_%7Bi%7D%7D+
[omega_i_leftarrow m_cdot _omega_i_ - _eta _frac_partial E_partial _omega_i]: http://www.zhihu.com/equation?tex=%5Comega_%7Bi%7D%5Cleftarrow++m%5Ccdot+%5Comega_%7Bi%7D+-+%5Ceta+%5Cfrac%7B%5Cpartial+E%7D%7B%5Cpartial+%5Comega_%7Bi%7D%7D+
[eta _lambda _omega _i]: http://www.zhihu.com/equation?tex=%5Ceta+%5Clambda+%5Comega+_%7Bi%7D+
[omega_i_leftarrow _omega_i_ - _eta _frac_partial E_partial _omega_i_ - _eta _lambda _omega _i]: http://www.zhihu.com/equation?tex=%5Comega_%7Bi%7D%5Cleftarrow++%5Comega_%7Bi%7D+-+%5Ceta+%5Cfrac%7B%5Cpartial+E%7D%7B%5Cpartial+%5Comega_%7Bi%7D%7D+-+%5Ceta+%5Clambda+%5Comega+_%7Bi%7D+
[eta _left_ s _right_ _frac_eta _0_ _1_s_cdot _eta _n]: http://www.zhihu.com/equation?tex=%5Ceta+%5Cleft%28+s+%5Cright%29+%3D%5Cfrac%7B%5Ceta+_%7B0%7D+%7D%7B1%2Bs%5Ccdot+%5Ceta+_%7Bn%7D%7D+
[Difference between neural net weight decay and learning rate]: http://link.zhihu.com/?target=http%3A//stats.stackexchange.com/questions/29130/difference-between-neural-net-weight-decay-and-learning-rate
[x _leftarrow x-_alpha _ast dx]: /images/20220522/c9873bedc0e04246afc5a95abb2217ad.png+%5Cleftarrow++x-%5Calpha+%5Cast+dx
[x]: /images/20220522/c9873bedc0e04246afc5a95abb2217ad.png
[v_beta _ast v -a_ast dx]: /images/20220522/1962e3a4754a449aa8ae2d55b821cffc.png%3D%5Cbeta+%5Cast+v+-a%5Cast+dx%5C%5C%0A
[x _leftarrow x_v]: /images/20220522/c9873bedc0e04246afc5a95abb2217ad.png+%5Cleftarrow++x%2Bv
[beta]: http://www.zhihu.com/equation?tex=%5Cbeta+
[v]: /images/20220522/1962e3a4754a449aa8ae2d55b821cffc.png
[wx_b]: /images/20220522/470675f6f0254f7f8f583535b3eb6302.png