17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）

╰+哭是因爲堅強的太久メ 2022-10-26 11:29 332阅读 0赞

# 1. 常见函数梯度 #

## 1.1 常见函数 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]

# 2. 激活函数及其梯度 #

# 2.1 激活函数 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]

# Derivative (倒数) #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]

# Sigmoid / Logistic #

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]: /images/20221024/fe8f520a1d9144518a73d93e123cf0df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]: /images/20221024/079fac27aec1453094c64bf3a31bc366.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]: /images/20221024/68486157a63146ea81cfe7158edb7b21.png

发表评论取消回复

表情：

评论列表（有 0 条评论，332人围观）

还没有评论，来说两句吧...

相关阅读

相关 NLP | 激活函数与梯度

常见激活函数 sigmoid tanh ReLU 1. sigmoid函数 f ( x ) = σ ( x ) = 1 1 + e − x f

- 日理万妓/ 2024年04月01日 10:45/ 0 赞/ 136 阅读

相关人工智能-损失函数-优化算法：普通梯度下降算法【BGD（批量梯度下降法）、SGD（随机梯度下降）、MBGD（小批量梯度下降法）】

人工智能-机器学习-损失函数-优化方法：普通梯度下降算法一、损失函数二、梯度下降法求解损失函数极小值 1、损失函数 J ( θ 0 , θ 1

约定不等于承诺〃/ 2023年10月05日 15:58/ 0 赞/ 194 阅读

相关梯度和梯度下降

文章目录导读方向导数和梯度梯度下降是什么为什么选择梯度下降随机梯度下降问题提出分析过程

柔光的暖阳◎/ 2022年11月28日 00:21/ 0 赞/ 451 阅读

相关多元函数的梯度下降

文章目录导读问题变量确认代价函数的确认目标函数最终展开导读前一篇[梯度下降][Link 1]仅仅只是针对梯度下降的原理

骑猪看日落/ 2022年11月27日 15:51/ 0 赞/ 272 阅读

相关 PyTorch教程（八）：常见激活函数与Loss的梯度

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。如果使用的话，激活函数给神经元引入了非线性因素

不念不忘少年蓝@/ 2022年10月31日 10:51/ 0 赞/ 309 阅读

相关 17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）

1. 常见函数梯度 1.1 常见函数 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_

╰+哭是因爲堅強的太久メ/ 2022年10月26日 11:29/ 0 赞/ 333 阅读

相关【Pytorch】激活函数与loss的梯度

文章目录 1. 什么是激活函数 2. Sigmoid 激活函数及其loss函数 3. Tanh 激活函数及其loss函数 4. ReLU 激活函数

迷南。/ 2022年10月23日 15:24/ 0 赞/ 334 阅读

相关 OpenCV与梯度计算相关的函数

在进行图像处理中，经常会计算图像的梯度、梯度幅值以及梯度等，对于不太了解opencv的，可能会自己写计算梯度、梯度幅值和梯度方向的函数，其实这些工作OpenCV都已经为我们做了

本是古典何须时尚/ 2022年07月17日 01:59/ 0 赞/ 234 阅读

相关求图片的梯度函数

主要函数gradient（）。 v=-3:0.1:3; \[x,y\]=meshgrid(v); %产生网格 z=x

﹏ヽ暗。殇╰゛Y/ 2022年06月01日 01:18/ 0 赞/ 520 阅读

相关梯度消失和梯度爆炸

产生原因层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显

朴灿烈づ我的快乐病毒、/ 2022年02月14日 04:29/ 0 赞/ 515 阅读