tensorflow中Relu激活函数

àì夳堔傛蜴生んèń 2023-02-12 05:47 206阅读 0赞

# tensorflow中Relu激活函数 #

> ## 引用API：tensorflow.nn.relu(x) ##

## 初学者建议选择Relu激活函数 ##

![2020052420190694.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70 1][]

> ##  Relu激活函数 ##
> 
> ## ![f(x)=max(0,x)=\\left\\\{\\begin\{matrix\} 0&x<0 \\\\ x& x>=0 \\end\{matrix\}\\right.][f_x_max_0_x_left_begin_matrix_ 0_x_0 _ x_ x_0 _end_matrix_right.] ##
> 
> ## Relu激活函数是一个分段函数，只需要考虑值是否大于0，收敛速度大于sigmod激活函数和tanh激活函数 ##
> 
> ## 优点：解决了梯度消失问题，值都在正区间内 ##
> 
> ##           只需判断输入是否大于0，速度快 ##
> 
> ##           提供了神经网络的稀疏表达能力 ##
> 
> ## 缺点：输出非0均值，收敛慢 ##
> 
> ##            由于小于0的不去计算，造成一部分神经元死亡，永远不会被激活，导致 ##
> 
> ##            相应的参数不会被更新 ##
> 
> ## 最好是改进随机初始化，减小学习率，避免过多的负数特征送入Relu函数 ##
> 
>

[2020052420190694.png]: https://img-blog.csdnimg.cn/2020052420190694.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200524201942380.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200524202010266.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI=,size_16,color_FFFFFF,t_70
[f_x_max_0_x_left_begin_matrix_ 0_x_0 _ x_ x_0 _end_matrix_right.]: https://private.codecogs.com/gif.latex?f%28x%29%3Dmax%280%2Cx%29%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%200%26x%3C0%20%5C%5C%20x%26%20x%3E%3D0%20%5Cend%7Bmatrix%7D%5Cright.