pytorch 反向传播自动求导

忘是亡心i 2023-06-27 05:43 67阅读 0赞

### [welcome to my blog][] ###

#### 输出是个标量 ####

# 设y=2x^2
    # 当x=2时, y对x求导的结果8, 下面进行验证
    x = torch.tensor([2],dtype=torch.float,requires_grad=True)
    y = 2*x*x
    # 反向求导
    y.backward()
    # 保存y对x求导的结果
    res = x.grad
    print(res)
    # 求导结果: tensor([8.])

#### 输出是个向量 ####

# 设y=3(x+1)^2
    # 当x=[2,2,2]时, y对x求导的结果[18, 18, 18], 下面进行验证
    x = torch.tensor([2,2,2],dtype=torch.float,requires_grad=True) # tensor([2., 2., 2.], requires_grad=True)
    y = 3*(x+1)*(x+1) # tensor([27., 27., 27.], grad_fn=<MulBackward0>)
    # 输出是个变量时必须指定变量的长度, 所以声明一个tmp张量, tmp的值会参与求导, 实际上就是跟求导结果相乘, 所以值为1得到的是原始的求导结果, 值为0.1得到的是原始求导结果的十分之一, 看下面的例子立马就明白了
    tmp = torch.tensor([0.1,1,10],dtype=torch.float)
    # 反向求导
    # tmp的dtype必须是torch.float类型的, 不指定浮点类型的话求导时会报错:RuntimeError: Expected isFloatingType(grads[i].type().scalarType()) to be true, but got false
    y.backward(tmp)
    # 保存y对x求导的结果
    res = x.grad
    print(res)
    # tensor([ 1.8000, 18.0000, 180.0000]) 之所以不都是18, 是因为tmp的值的作用

[welcome to my blog]: https://littlehaes.com

发表评论取消回复

表情：

评论列表（有 0 条评论，67人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch入门9--自动求导和神经网络

深度学习网上自学学了10多天了，看了很多大神的课总是很快被劝退。终于，遇到了一位对小白友好的刘二大人，先附上链接，需要者自取：https://b23.tv/7WhXnRb

谁借莪１个温暖的怀抱￠/ 2024年03月26日 16:38/ 0 赞/ 150 阅读

相关 Pytorch自动求导机制详解

目录 1. 自动求导 1.1 梯度计算 1.1.1 一阶导数 1.1.2 二阶导数 1.1.3 向量 1.2 线性回归实战 ----------------

蔚落/ 2023年10月13日 19:28/ 0 赞/ 135 阅读

相关反向传播、链式求导

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

今天药忘吃喽~/ 2023年07月03日 12:22/ 0 赞/ 96 阅读

相关 pytorch 反向传播自动求导

[welcome to my blog][] 输出是个标量设y=2x^2 当x=2时, y对x求导的结果8, 下面进行验证 x = t

忘是亡心i/ 2023年06月27日 05:43/ 0 赞/ 68 阅读

相关 pytorch 反向传播机制

[https://blog.csdn.net/baidu\_36161077/article/details/81435627][https_blog.csdn.net_bai

偏执的太偏执、/ 2023年06月04日 02:53/ 0 赞/ 108 阅读

相关 Pytorch反向求导更新网络参数的方法

更多python教程请到： [菜鸟教程][Link 1] https://www.piaodoo.com/ 方法一：手动计算变量的梯度，然后更新梯度 im

àì夳堔傛蜴生んèń/ 2023年01月10日 05:03/ 0 赞/ 272 阅读

相关 PyTorch自动求导

标量反向传播 > 当目标张量为标量时，backward()无需传入参数。例子：假设 w , x , b w,x,b w,x,b都是标量， z = w x + b

雨点打透心脏的1/2处/ 2022年12月20日 14:55/ 0 赞/ 320 阅读

相关反向传播求偏导原理简单理解

神经网络中用反向传播求偏导数的思想就相当于复合函数求偏导。 -------------------- 从头说起，在学生时代我们要求下面式子中，函数 e ( a , b )

淡淡的烟草味﹌/ 2022年12月10日 01:16/ 0 赞/ 303 阅读

相关 pytorch自动求导Autograd系列教程

前言：构建深度学习模型的基本流程就是：搭建计算图，求得损失函数，然后计算损失函数对模型参数的导数，再利用梯度下降法等方法来更新参数。搭建计算图的过程，称为“正向传播”，这个是需

╰+攻爆jí腚メ/ 2022年11月11日 05:28/ 0 赞/ 333 阅读

相关 pytorch自动求导

自动求导属性 import torch 设置自动求导 a = torch.rand((2,4), requires_grad=True)

爱被打了一巴掌/ 2021年10月19日 03:14/ 0 赞/ 462 阅读