神经网络中常用的几种激活函数的理解

ゝ一纸荒年。 2022-03-28 02:16 422阅读 0赞

## 1. 什么是激活函数 ##

在神经网络中，我们经常可以看到对于**某一个隐藏层的节点**，该节点的激活值计算一般分为**两步**：  
  （1）输入该节点的值为 x1,x2x1,x2 时，在进入这个隐藏节点后，**会先进行一个线性变换**，计算出值 z\[1\]=w1x1+w2x2+b\[1\]=W\[1\]x+b\[1\]z\[1\]=w1x1+w2x2+b\[1\]=W\[1\]x+b\[1\] ，上标 11 表示第 11 层隐藏层。  
  （2）**再进行一个非线性变换**，也就是经过**非线性激活函数**，计算出该节点的**输出值(激活值)** a(1)=g(z(1))a(1)=g(z(1)) ，其中 g(z)g(z) 为非线性函数。

![1238724-20180816120047009-1593455737.jpg][]

--------------------

## 2. 常用的激活函数 ##

在深度学习中，常用的激活函数主要有：**sigmoid函数，tanh函数，ReLU函数**。下面我们将一一介绍。

### 2.1 sigmoid函数 ###

在逻辑回归中我们介绍过sigmoid函数，该函数是将取值为 (−∞,+∞)(−∞,+∞) 的数映射到 (0,1)(0,1) 之间。sigmoid函数的公式以及图形如下：

g(z)=11+e−zg(z)=11+e−z

![1238724-20180816153629046-1282691739.jpg][]

对于sigmoid函数的**求导推导**为：

![1238724-20180816150209571-870317113.jpg][]

sigmoid函数作为非线性激活函数，但是其并不被经常使用，它具有以下几个**缺点**：  
   （1）当 zz 值**非常大**或者**非常小**时，通过上图我们可以看到，sigmoid函数的**导数** g′(z)g′(z) 将接近 00 。这会导致权重 WW 的**梯度**将接近 00 ，使得**梯度更新十分缓慢**，即**梯度消失**。下面我们举例来说明一下，假设我们使用如下一个只有一层隐藏层的简单网络：

![1238724-20180816151654004-1572592250.jpg][]

对于隐藏层第一个节点进行计算，假设该点实际值为 aa ，激活值为 a\[1\]a\[1\] 。于是在这个节点处的代价函数为（以一个样本为例）：

J\[1\](W)=12(a\[1\]−a)2J\[1\](W)=12(a\[1\]−a)2

而激活值 a\[1\]a\[1\] 的计算过程为：

z\[1\]=w11x1+w12x2+b\[1\]z\[1\]=w11x1+w12x2+b\[1\]

a\[1\]=g(z\[1\])a\[1\]=g(z\[1\])

于是对权重 w11w11 求梯度为：

ΔJ\[1\](W)Δw11=(a\[1\]−a)⋅(a\[1\])′=(a\[1\]−a)⋅g′(z\[1\])⋅x1ΔJ\[1\](W)Δw11=(a\[1\]−a)⋅(a\[1\])′=(a\[1\]−a)⋅g′(z\[1\])⋅x1

由于 g′(z\[1\])=g(z\[1\])(1−g(z\[1\]))g′(z\[1\])=g(z\[1\])(1−g(z\[1\])) ，当 z\[1\]z\[1\] **非常大**时，g(z\[1\])≈1，1−g(z\[1\])≈0g(z\[1\])≈1，1−g(z\[1\])≈0 因此， g′(z\[1\])≈0,ΔJ\[1\](W)Δw11≈0g′(z\[1\])≈0,ΔJ\[1\](W)Δw11≈0。当 z\[1\]z\[1\] **非常小**时，g(z\[1\])≈0g(z\[1\])≈0 ，亦同理。（本文只从一个隐藏节点推导，读者可从网络的输出开始，利用反向传播推导）  
   （2）**函数的输出不是以0为均值**，将不便于下层的计算，具体可参考**引用1**中的课程。  
  **sigmoid函数可用在网络最后一层，作为输出层进行二分类**，尽量不要使用在隐藏层。

### 2.2 tanh函数 ###

tanh函数相较于sigmoid函数要常见一些，该函数是将取值为 (−∞,+∞)(−∞,+∞) 的数映射到 (−1,1)(−1,1) 之间，其公式与图形为：

g(z)=ez−e−zez+e−zg(z)=ez−e−zez+e−z

![1238724-20180816153708598-1386881939.jpg][]

tanh函数在 00 附近很短一段区域内可看做线性的。由于tanh函数**均值**为 00 ，因此弥补了sigmoid函数均值为 0.50.5 的缺点。  
  对于tanh函数的**求导推导**为：

![1238724-20180816154358758-421761003.jpg][]

tanh函数的**缺点**同sigmoid函数的第一个缺点一样，当 zz **很大或很小**时，g′(z)g′(z) 接近于 00 ，会导致梯度很小，权重更新非常缓慢，即**梯度消失问题**。

### 2.3 ReLU函数 ###

ReLU函数又称为**修正线性单元（Rectified Linear Unit）**，是一种分段线性函数，其弥补了sigmoid函数以及tanh函数的**梯度消失问题**。ReLU函数的公式以及图形如下：

g(z)=\{z,0,if z>0 if z<0g(z)=\{z,if z>0 0,if z<0

![1238724-20180816155333172-1812216944.jpg][]

对于ReLU函数的**求导**为：

g′(z)=\{1,0,if z>0 if z<0g′(z)=\{1,if z>0 0,if z<0

ReLU函数的**优点**：  
   （1）在输入为正数的时候（对于大多数输入 zz 空间来说），不存在梯度消失问题。  
   （2） 计算速度要快很多。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。（sigmod和tanh要计算指数，计算速度会比较慢）  
  ReLU函数的**缺点**：  
   （1）当输入为负时，梯度为0，会产生梯度消失问题。

### 2.4 Leaky ReLU函数 ###

这是一种对ReLU函数改进的函数，又称为PReLU函数，但其并不常用。其公式与图形如下：

g(z)=\{z,az,if z>0 if z<0g(z)=\{z,if z>0 az,if z<0

![1238724-20180816160230932-1500089472.jpg][]

其中 aa 取值在 (0,1)(0,1) 之间。  
  Leaky ReLU函数的**导数**为：

g(z)=\{1,a,if z>0 if z<0g(z)=\{1,if z>0 a,if z<0

Leaky ReLU函数解决了ReLU函数在输入为负的情况下产生的**梯度消失问题**。

--------------------

## 3. 为什么要用非线性激活函数？ ##

我们以这样一个例子进行理解。  
  假设下图中的隐藏层使用的为**线性激活函数（恒等激活函数）**，也就是说 g(z)=zg(z)=z 。

![1238724-20180816160904317-667582748.jpg][]

于是我们可以得出：

z\[1\]=W\[1\]x+b\[1\]z\[1\]=W\[1\]x+b\[1\]

a\[1\]=g(z\[1\])=z\[1\]a\[1\]=g(z\[1\])=z\[1\]

z\[2\]=W\[2\]a\[1\]+b\[2\]=W\[2\](W\[1\]x+b\[1\])+b\[2\]z\[2\]=W\[2\]a\[1\]+b\[2\]=W\[2\](W\[1\]x+b\[1\])+b\[2\]

a\[2\]=g(z\[2\])=z\[2\]=W\[2\](W\[1\]x+b\[1\])+b\[2\]=W\[1\]W\[2\]x+W\[2\]b\[1\]+b\[2\]a\[2\]=g(z\[2\])=z\[2\]=W\[2\](W\[1\]x+b\[1\])+b\[2\]=W\[1\]W\[2\]x+W\[2\]b\[1\]+b\[2\]

y^=a\[2\]=W\[1\]W\[2\]x+W\[2\]b\[1\]+b\[2\]y^=a\[2\]=W\[1\]W\[2\]x+W\[2\]b\[1\]+b\[2\]

可以看出，当激活函数为**线性激活函数**时，输出 y^y^ 不过是输入特征 xx 的**线性组合**（无论多少层），而不使用神经网络也可以构建这样的线性组合。而当激活函数为**非线性激活函数**时，通过神经网络的不断加深，可以构建出各种有趣的函数。

--------------------

引用及参考：  
\[1\] [https://mooc.study.163.com/learn/2001281002?tid=2001392029\#/learn/content?type=detail&id=2001702017][https_mooc.study.163.com_learn_2001281002_tid_2001392029_learn_content_type_detail_id_2001702017]  
\[2\] [https://blog.csdn.net/kangyi411/article/details/78969642][https_blog.csdn.net_kangyi411_article_details_78969642]  
\[3\] [https://blog.csdn.net/cherrylvlei/article/details/53149381][https_blog.csdn.net_cherrylvlei_article_details_53149381]

写在最后：本文参考以上资料进行整合与总结，属于原创，文章中可能出现理解不当的地方，若有所见解或异议可在下方评论，谢谢！  
**若需转载请注明**：[https://www.cnblogs.com/lliuye/p/9486500.html][https_www.cnblogs.com_lliuye_p_9486500.html]

[1238724-20180816120047009-1593455737.jpg]: /images/20220328/ae3aec125375438c8f0f92d21cdab3bf.png
[1238724-20180816153629046-1282691739.jpg]: /images/20220328/724929358097486e849ab16ebd835dca.png
[1238724-20180816150209571-870317113.jpg]: /images/20220328/dea7100b8ab045719f7c37971d3404fe.png
[1238724-20180816151654004-1572592250.jpg]: /images/20220328/933acf66d40c4f9493a574d988dcecb0.png
[1238724-20180816153708598-1386881939.jpg]: /images/20220328/c4d2d9f2f651498f84c4631aece54703.png
[1238724-20180816154358758-421761003.jpg]: /images/20220328/1b8634deba79490eb58b946590d392da.png
[1238724-20180816155333172-1812216944.jpg]: /images/20220328/9f29358bf66a43bbab9c89c15ff2836a.png
[1238724-20180816160230932-1500089472.jpg]: /images/20220328/0d275b6445034065a41628ea729cf6d0.png
[1238724-20180816160904317-667582748.jpg]: /images/20220328/1f4850c273664afab9afb37ef93a9665.png
[https_mooc.study.163.com_learn_2001281002_tid_2001392029_learn_content_type_detail_id_2001702017]: https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702017
[https_blog.csdn.net_kangyi411_article_details_78969642]: https://blog.csdn.net/kangyi411/article/details/78969642
[https_blog.csdn.net_cherrylvlei_article_details_53149381]: https://blog.csdn.net/cherrylvlei/article/details/53149381
[https_www.cnblogs.com_lliuye_p_9486500.html]: https://www.cnblogs.com/lliuye/p/9486500.html