pytorch:关于module.train函数和module.eval函数区别分析

╰半夏微凉° 2023-05-22 22:15 54阅读 0赞

> 在正常建立好模型运行程序时，module都必须先要train,所以总是在训练状态，但如果是下载好别人训练好的模型而不需要自己训练时，运行程序就应该变为eval()模式。  
> 其他可以详见：  
> [pytorch 官方文档][pytorch]

对于一些含有BatchNorm,Dropout等层的模型，在训练和验证时使用的forward在计算上不太一样。在前向训练的过程中指定当前模  
型是在训练还是在验证。使用module.train()和module.eval()进行使用，其中这两个方法的实现均有training属性实现。  
关于这两个方法的定义源码如下。

###### train() ######

def train(self, mode=True):
            r"""Sets the module in training mode. This has any effect only on certain modules. See documentations of particular modules for details of their behaviors in training/evaluation mode, if they are affected, e.g. :class:`Dropout`, :class:`BatchNorm`, etc. Args: mode (bool): whether to set training mode (``True``) or evaluation mode (``False``). Default: ``True``. Returns: Module: self """
            self.training = mode
            for module in self.children():
                module.train(mode)
            return self

###### eval() ######

def eval(self):
            r"""Sets the module in evaluation mode. This has any effect only on certain modules. See documentations of particular modules for details of their behaviors in training/evaluation mode, if they are affected, e.g. :class:`Dropout`, :class:`BatchNorm`, etc. This is equivalent with :meth:`self.train(False) <torch.nn.Module.train>`. Returns: Module: self """
            return self.train(False)

两者函数内部的区别就是self.train()中的mode参数的取值，如果是True就是训练，Fals就是验证，默认的时候是True.  
![在这里插入图片描述][20200527080047417.png]

**总结**：train()和eval()模式的区别：

> model.train() ：启用 BatchNormalization 和 Dropout  
> model.eval() ：不启用 BatchNormalization 和 Dropout

[pytorch]: https://pytorch.org/docs/stable/nn.html#
[20200527080047417.png]: /images/20230521/9b5ced2b13ee4c1d9cd2faa55d106d12.png