PyTorch中的model.zero_grad() 与 optimizer.zero_grad()

╰半夏微凉° 2023-10-02 10:29 18阅读 0赞

在PyTorch中，对模型参数的梯度置0时通常使用两种方式：model.zero\_grad()和optimizer.zero\_grad()。二者在训练代码都很常见，那么二者的区别在哪里呢？

## 一、model.zero\_grad() ##

model.zero\_grad()的作用是将所有模型参数的梯度置为0。其源码如下：

for p in self.parameters():
        if p.grad is not None:
            p.grad.detach_()
            p.grad.zero_()

## 二、optimizer.zero\_grad() ##

optimizer.zero\_grad()的作用是清除所有优化的torch.Tensor的梯度。其源码如下：

for group in self.param_groups:
        for p in group['params']:
            if p.grad is not None:
                p.grad.detach_()
                p.grad.zero_()

## 三、总结 ##

当使用optimizer = optim.Optimizer(net.parameters())设置优化器时，此时优化器中的param\_groups等于模型中的parameters()，此时，二者是等效的，从二者的源码中也可以看出来。

当多个模型使用同一个优化器时，二者是不同的，此时需要根据实际情况选择梯度的清除方式。

当一个模型使用多个优化器时，二者是不同的，此时需要根据实际情况选择梯度的清除方式。

--------------------

--------------------

--------------------

参考资料：  
[PyTorch中的model.zero\_grad() vs optimizer.zero\_grad()][PyTorch_model.zero_grad_ vs optimizer.zero_grad]

[PyTorch_model.zero_grad_ vs optimizer.zero_grad]: https://www.jianshu.com/p/c59b75f1064c

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关【PyTorch中的图像处理与Tensor转换】——探索PyTorch中基于Tensor的图像处理技巧

【PyTorch中的图像处理与Tensor转换】——探索PyTorch中基于Tensor的图像处理技巧 PyTorch是目前深度学习领域最受欢迎的开源机器学习框架之一。其中，

向右看齐/ 2024年03月26日 20:43/ 0 赞/ 190 阅读

相关 Pytorch 中的 Copy.deepcopy() 与 clone()

PyTorch 已成为机器学习社区中流行的深度学习框架。创建项目重复项是使用 PyTorch 的开发人员和研究人员的常见要求。了解副本之间的区别对于保留模型的状态、提供数据增强

╰半夏微凉°/ 2023年10月12日 19:48/ 0 赞/ 160 阅读

相关 Pytorch中的variable, tensor与numpy相互转化

来源:[https://blog.csdn.net/m0\_37592397/article/details/88327248][https_blog.csdn.net_m0_

- 日理万妓/ 2023年10月05日 08:13/ 0 赞/ 149 阅读

相关 pytorch中的view

view用于torch中的形变(而非numpy中)，相当于numpy中resize()功能 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shad

深碍√TFBOYSˉ_/ 2022年10月02日 07:00/ 0 赞/ 402 阅读

相关【PyTorch】numpy数组与pytorch的tensor相互转化

【PyTorch】numpy数组与pytorch的tensor相互转化 1、背景 2、numpy 转为 pytorch 3、pytorch 转为 num

￡神魔★判官ぃ/ 2022年09月11日 07:09/ 0 赞/ 363 阅读

相关 PyTorch中的梯度累积

我们在训练神经网络的时候，超参数`batch_size`的大小会对模型最终效果产生很大的影响，通常的经验是，`batch_size`越小效果越差；`batch_size`越大模

╰+哭是因爲堅強的太久メ/ 2022年09月10日 10:17/ 0 赞/ 337 阅读

相关 pytorch 中的 backward()

今天在学 pytorch 反向传播时发现 backward() 函数是可以往里面传参的，于是仔细查了一下这个函数及其参数是干什么的。 github上有大牛分析如下：

小鱼儿/ 2022年05月29日 13:22/ 0 赞/ 464 阅读

相关 Pytorch中常用的API

本文转载自：[https://blog.csdn.net/huyaoyu/article/details/78526675][https_blog.csdn.net_huyao

叁歲伎倆/ 2022年04月24日 12:32/ 0 赞/ 447 阅读

相关 pytorch中的LSTM

RNN和RNNCell层的区别在于前者能处理整个序列，而后者一次只处理序列中一个时间点的数据，前者封装更完备更易于使用，后者更具灵活性。RNN层可以通过调用RNNCell来实现

超、凢脫俗/ 2021年12月19日 01:23/ 0 赞/ 558 阅读

相关 pytorch中的Embedding

词向量（Word Vector），又称为词嵌入（Word Embedding），它是把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间（通常是128维或256

雨点打透心脏的1/2处/ 2021年12月13日 21:13/ 0 赞/ 575 阅读