二、Pytouch主要模块

亦凉 2023-05-29 03:43 53阅读 0赞

**目录**

1、头文件导入

2、Dataset (数据集)

3、nn.Module (模组)

4、torch.optim (优化)

5、网络模型的保存和加载

--------------------

## 1、头文件导入    ##

import torch
    import torch.nn as nn
    
    from torch.utils.data import DataLoader

## 2、Dataset (数据集) ##

在处理任何机器学习问题之前都需要数据读取， 并进行预处理。PyTorch提供了很多工具使得数据的读取和预处理变得很容易。

**批量读取数据：**

# 参数说明
    # myDataset:训练数据
    # batch_size: 每次读取数据量
    # shuffle: 为True时在每次取数据后会打乱数据。为Flase则不会

dataiter = DataLoader(myDataset, batch_size=10, shuffle=True)

## 3、nn.Module (模组) ##

在 PyTorch 里面编写神经网络，所有的层结构和损失函数都来自于 torch.n口，所 有的模型构建都是从这个基类 nn.Module 继承的。

**继承模组构建神经网络模板举例（后面详解）：**

class Net(nn.Module):
        #输入参数包括 输入层数，隐藏层数，输出层数
        def __init__(self, n_feature , n_hidden , n_output):
            super(Net,self).__init__()  #继承Net
            self.hidden = torch.nn.Linear(n_feature , n_hidden) #隐藏层
            self.predict = torch.nn.Linear(n_hidden , n_output)  #预测输出层
    
        def forward(self, x ): #前向传播
            x = F.relu(self.hidden(x)) #x值经过隐藏层输出后经激活函数激活
            x = self.predict(x)  #输出预测值
            return x

**通过nn包定义常用损失函数（计算预测值与真实值的损失，方便反向传播）：**

loss_fuc1 = nn.L1Loss() #L1Loss取预测值和真实值的绝对误差的平均数即可
    loss_fuc2 = nn.MSELoss() #平方损失函数,其计算公式是预测值和真实值之间的平方和的平均数。
    loss_fuc3 = nn.SmoothL1Loss() #误差在(-1,1)范围内是MSELoss平方损失，其他情况是L1Loss损失。
    loss_fuc4 = nn.BCELoss #二分类用的交叉熵其计算公式较复杂
    loss_fuc5 = nn.CrossEntropyLoss() #图像分类神经网络模型中就常常用到该公式。

## 4、torch.optim (优化) ##

在反向传递时，我们需要通过修改参数使得损失的数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。（大致了解其作用和思想即可）

**1、一阶优化算法：**

函数的梯度形成了一个向量场，同时也是一个 方向，这个方向上方向导数最大，且等于梯度。梯度下降的功能是通过寻找最小值，控 制方差， 更新模型参数， 最终使模型收敛。

**2、二阶优化算法：**

三阶优化算法，使用了二阶导数(也叫做 Hessian 方法)来最小化或最大化损失函 数，主要基于牛顿法。(!!!调用优化的时候将需要优化的参数传入，这些参数都必须是 Variable)

在一个神经网络模型中通用优化步骤：

optimizer = torch.optim.RMSprop(net.parameters() , lr = 0.02) #优化神经网络 lr为学习效率
    
    optimizer.zero_grad() #优化神经网络时先将网络梯度降为0
    loss.backward() #根据真实值与y的均方差反向传播计算梯度
    optimizer.step() #以学习效率0.02优化步骤

## 5、网络模型的保存和加载 ##

当我们训练好一个网络模型时需要保存已经训练好的网络，以方便下次用的时候加载。

**保存网络模型（这种方法候加载的时间比较长，同时存储空间也比较大）：**

torch.save(net , 'net.pkl' ) #保存训练好的net网络模型,h会生成一个pkl文件保存
    net = torch.load('net.pkl') #读取整个网络

**保存网络模型参数：**

torch.save(net.state_dict(), 'net_params.pkl')  # 只保存网络中的参数 (速度快, 占内存少)
    net.load_state_dict(torch.load('net_params.pkl')) #读取参数