PyTorch入门学习（二）：Autogard之自动求梯度

女爷i 2023-06-05 03:25 39阅读 0赞

autograd包是PyTorch中神经网络的核心部分,简单学习一下.

autograd提供了所有张量操作的自动求微分功能. 它的灵活性体现在可以通过代码的运行来决定反向传播的过程, 这样就使得每一次的迭代都可以是不一样的.

# Variable类 #

*  `autograd.Variable`是这个包中的核心类.
 *  它封装了Tensor,并且支持了几乎所有Tensor的操作.
 *  一旦你完成张量计算之后就可以调用`.backward()`函数,它会帮你把所有的梯度计算好.
 *  通过Variable的`.data`属性可以获取到张量.
 *  通过Variabe的`.grad`属性可以获取到梯度.

下图是Variable的结构图:

![webp][]

# Function类 #

*  对于实现自动求梯度还有一个很重要的类就是`autograd.Function`.
 *  `Variable`跟`Function`一起构建了非循环图,完成了前向传播的计算.
 *  每个通过Function函数计算得到的变量都有一个`.grad_fn`属性.
 *  用户自己定义的变量(不是通过函数计算得到的)的`.grad_fn`值为空.
 *  如果想计算某个变量的梯度,可以调用`.backward()`函数:  
    1.当变量是标量的时候不需要指定任何参数.  
    2.当变量不是标量的时候,需要指定一个跟该变量同样大小的张量`grad_output`用来存放计算好的梯度.

## 代码示例 ##

*  import packet

import torch from torch.autograd import Variable

*  Create a variable

x=Variable(torch.ones(2,2),requires_grad=True) print (x)

![webp 1][]

*  Do an operation of variable

y=x+2
    print(y)

![webp 2][]

*  grad\_fn attribute  
    这里的x是属于用户自己定义的,而y属于函数产生的,所以y有grad\_fn属性,而x没有.

print (x.grad_fn)
    print (y.grad_fn)

![webp 3][]

*  more operations on y

z = y * y * 3 out = z.mean() print(z, out)

![webp 4][]

# Gradients #

如果你跟着上面的代码做下来的话,上面已经完成了变量x及计算函数的定义.  
现在我们就可以用`backward()`自动求导啦.

out.backward() print(x.grad)

反向计算得到的梯度如下所示:

![webp 5][]

*  这里的out为标量,所以直接调用backward()函数即可.
 *  一定要注意当out为数组时,用先定义一样大小的Tensor例如`grad_output`执行`.backgrad(grad_output)`语句.

以上就基本完成了前向传播建立计算图以及反向传播求梯度的过程.

![1432127-20190830123325095-1002429855.jpg][]

转载于:https://www.cnblogs.com/jfdwd/p/11434382.html

[webp]: /images/20230601/75f7f618482344daab412af54184bd02.png
[webp 1]: /images/20230601/974d7fe2de01432d9b20ce0cd37c39cb.png
[webp 2]: /images/20230601/2cff6dedd1b542a7a154109b777a7a9a.png
[webp 3]: /images/20230601/0e251d7087fb4fc6b9812e8080b3aab3.png
[webp 4]: /images/20230601/f37492c7404b4bfbb2dc5342747ca8e3.png
[webp 5]: /images/20230601/412ec3f6fb5c4cf090e2a0077720959d.png
[1432127-20190830123325095-1002429855.jpg]: /images/20230601/cd7506ae1ce341e6ad8718483567a062.png