pytorch入门3--一些概念补充、线性回归以及许多python，pytorch函数的用法

喜欢ヅ旅行 2024-03-26 14:53 159阅读 0赞

先补充一些知识点，这里不一定用得到，后面的学习过程中可能用得到。  
一、代码中常用到的变量命名  
1.batch表示批量，就是一批数据集的意思；  
2.batch\_size表示数据集（样本集、训练集）的大小（数据的个数）；  
3.iteration是迭代的意思，即一个iteration表示迭代一次；trainer\_iter表示训练集，test\_iter表示测试集。  
4.epoch可以看成训练次数，一个epoch指用训练集中的全部样本训练一次，最初训练DNN采用一次对全体训练集的样本进行训练（即用一个epoch），但样本集较大时占用内存大，目前常用随机梯度下降SGD来训练，将训练集分为多个mini\_bach(即batch)，一次迭代训练一个minibatch(batch\_size个样本），根据该batch数据的loss更新权值。  
举个例子，训练集有1000个样本，batch\_size=10,那么训练完整个样本集需要100次iteration,1次epoch。epoc指把训练集所有的数据都跑一遍，当然也有将训练集的所有数据跑多遍的算法，即多个epoch。  
二、其他一些概念（边讲边以“书”来举例）  
1.特征(feature)：数据的特征，即书的内容。  
2.标签(label）：数据的标签，即数据分类的结果。书属于的类别，例如“计算机”，“图形学”，“英文书”，“教材”等。  
3.学习（learning）：找到特征与标签的映射（mapping）关系。即把很多书交给一个学生，培养他给书本分类的能力。  
4.有监督学习(supervised learning):不仅把训练数据丢给计算机，而且还把分类结果（数据具有的标签）也一并丢给计算机分析。由于计算机在学习的过程中不仅有训练数据，而且有训练结果（标签），因此训练的效果通常不错。训练结束后进行测试。即不仅把书给学生进行训练给书本分类的能力，而且把分类的结果（哪本书属于哪些类别）也给学生做标准参考。  
5.半监督学习（semi-supervised learning）：给计算机大量训练数据与少量的分类结果（具有同一标签的集合）。给学生很多未分类的书本和少量的清单，清单上说明哪些书属于同一类别。  
6.无监督学习（unsupervised learning）：只给计算机训练数据，不给结果（标签），因此计算机无法准确地知道哪些数据具有哪些标签，只能凭借强大的计算能力分析数据地特征，从而得到一定地成果，通常是得到一些集合，集合内的数据在某些特征上相同或相似。只给学生未分类的书本进行训练，不给标准参考，学生只能自己分析哪些书比较像，根据相同与相似点列出清单，说明哪些书比较可能是同一类别的。  
7.聚类(clustering):无监督学习的结果。聚类的结果将产生一组集合，集合中的对象与同集合中的对象彼此相似，与其他集合中的对象相异没有标准参考的学生给书本分的类别，表示自己认为这些书可能是同一类别的（具体什么类别不知道）。  
8.分类(classification）：有监督学习的两大应用之一，产生离散的结果。  
9.回归（regression）：有监督学习的两大应用之一，产生连续的结果。例如向模型输入人的各种数据的训练样本，产生“输入一个人的数据，判断此人20年后的经济能力”的结果，结果是连续的，往往得到一条回归曲线。当输入自变量不同时，输出的因变量非离散分布。

写代码时一些常见变量：  
y\_hat:是指预测值，与真实值对应。  
mse(Mean Square Error)：平均损失函数，表达式为：  
![在这里插入图片描述][f0d172ff15ad40b5996e9a8f958cbbf8.png]  
优化算法(optimization algorithm):寻找使损失函数值最小的参数值的方法。例如梯度下降算法。  
sgd：随机梯度下降方法。

以房价预测问题为例.  
假设1：影响房价的关键因素是卧室个数，卫生间个数和居住面积，记为x1,x2,x3.  
假设2：成交价是关键因素的加权和：  
y = w1*x1+w2*x2+w3\*x3+b（其中，w1,w2,w3是权重，b是偏差）  
一、理论  
1.拓展到线性模型(Linear)：  
给定n维输入:  
![在这里插入图片描述][1740abf65abf4d80a63e9ea7f29b66d4.png]  
线性模型有一个n维权重和一个标量偏差：  
![在这里插入图片描述][62d8d5ba13974f219463c682dd0429b7.png]  
说明：<**w**,**x**>是张量的内积，和向量的内积是一个意思。  
2.衡量预估质量：  
比较真实值和预估值，例如房屋售价和估价。假设y是真实值，y^是估计值，可以比较：  
![在这里插入图片描述][f5a119aa163a435d93dd71c4e31c1492.png]  
这个叫做平方损失。  
3.训练数据  
收集一些数据点来决定参数（权重和偏差）。例如过去6个月卖的房子，这被称之为训练数据。假如我们有n个样本，记：  
![在这里插入图片描述][2a89219d72be4d44a0db3965953a3a87.png]  
4.参数学习  
![在这里插入图片描述][bd9e068fe85447bb8d70eb79c8e00d85.png]  
最小化损失函数就是找到使损失函数l(x,y,w,b)最小的w,b的值。  
5.显示解  
![在这里插入图片描述][0df1982fe4854bb88ef1de55a2c27c0b.png]  
线性回归可以看成单层神经网络。  
![在这里插入图片描述][815958818478496192ac533b507b1fb4.png]  
二、线性回归代码实现  
1.零基础代码

%matplotlib inline
    import random
    import torch
    from d2l import torch as d2l
    
    # 用于生成人造数据集
    def synthetic_data(w,b,num_examples):
        x = torch.normal(0,1,(num_examples,len(w))) # torch.normal()表示正太分布，有三个参数torch.normal(mean,std,size),三个参数
        y = torch.matmul(x,w)+b
        y += torch.normal(0,0.01,y.shape) #加入一个均值噪音
        return x,y.reshape(-1,1) #生成列向量返回（后面有说明）
    
    true_w = torch.tensor([2,-3.4])
    true_b = 4.2
    features,labels = synthetic_data(true_w,true_b,1000)
    # 绘制点图显示
    d2l.set_figsize()
    d2l.plt.scatter(features[:,1].detach().numpy(),labels.detach().numpy(),1);
    
    def data_iter(batch_size,features,labels):
        num_examples = len(features)
        indices = list(range(num_examples))
        random.shuffle(indices)
        for i in range(0,num_examples,batch_size):
            batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)])
            yield features[batch_indices],labels[batch_indices]
     
    batch_size = 10
    for x,y in data_iter(batch_size,features,labels):
        print(x,'\n',y)
        break
    # 定义初始化模型参数
    w = torch.normal(0,0.01,size=(2,1),requires_grad=True)
    b =torch.zeros(1,requires_grad=True)
    
    def linreg(x,w,b):
        # 线性回归模型
        return torch.matmul(x,w)+b
    
    # 定义损失函数
    def squared_loss(y_hat,y):
        return (y_hat - y.reshape(y_hat.shape))**2/2
    
    # 定义优化算法（小批量随机梯度下降）sgd在深度学习中表示随机梯度下降法（Stochastic Gradient Descent）
    def sgd(params,lr,batch_size):
        with torch.no_grad():
            for param in params:
                param -= lr * param.grad / batch_size
                param.grad.zero_() # 把梯度设为零
                    
    #训练过程
    lr = 0.03 # 学习率，即步长
    num_epochs = 3
    net =  linreg
    loss = squared_loss
    for epoch in range(num_epochs):
        for x,y in data_iter(batch_size,features,labels):
            l =loss(net(x,w,b),y)
            l.sum().backward()
            sgd([w,b],lr,batch_size)
        with torch.no_grad():
            train_l = loss(net(features,w,b),labels)
            print(f'epoch{
          epoch +1},loss{
          float(train_l.mean()):f}')

说明：（1）len()函数返回对象的长度，注意不是length()函数。  
![在这里插入图片描述][6195ff44b3ae4fa98da00218967589d0.png]  
（2）torch.normal(mean,std,size)用于产生正太分布的一个张量，参数mean是正太分布的均值，参数std是标准差，size是张量的shape.  
![在这里插入图片描述][b3c2766524f7400493744bde57f7b1f9.png]  
（3）torch.matmul用于实现两个张量相乘。（这里满足之前说过的张量相乘的不同情况。  
两个一维向量实现内积：  
![在这里插入图片描述][30e7505ee46a4806a4c78ee6083ed314.png]  
两个多维张量实现的是线性代数里的矩阵相乘：  
![1][]  
报错原因为a的列不等于b的行。  
![在这里插入图片描述][9dfd4ada922e4959aa0e3dc112c56a7c.png]  
![在这里插入图片描述][23010ccabfba4295af0f35e327b44c8f.jpeg]  
（4）random.shuffle()用于将一个列表中的元素打乱顺序，元素个数和值不变  
![在这里插入图片描述][5e658030ca034a7abc0ce8e866f30d06.png]  
注意：该函数没有返回值，而是将参数值改变并传回给参数本身，即使参数值改变。  
（5）reshape()函数中参数为-1表示无意义。reshape(-1,1)表示将二维数组重整为一个一列的数组，reshape(1,-1)表示把一个二维数组重整为一个一行的数组。  
![在这里插入图片描述][ed0fb3052fd44a43a6b50f6c1248acdb.png]  
（6）range(n)用于生成一个从0到n-1的整数序列，list()用于将序列转化为列表。  
![在这里插入图片描述][e6218c3fa5b44473ac48847534fb9e81.png]  
（7）zero\_()可用于将张量清零  
![在这里插入图片描述][24c5fafe616e4d569ed4368cb56dab1a.png]  
（8）yield  
python中含有yield的函数相当于一个迭代器，即iterator，生成的迭代器（函数执行的返回结果）可以用于for循环。  
![在这里插入图片描述][a8ccb85ef00e4171ab083feb46b6151d.png]  
注意：当执行g=gen(5)时，gen中的代码并没有执行（节省内存空间），只是创建了一个生成器对象（generator)，然后，执行for i in g，每次执行一次循环就会执行到yield处，返回一次yield的值。  
![在这里插入图片描述][b28ac15841bd442f9d218e85025a7cd1.png]

从上例可以看出，yield也是使函数返回，暂停执行，且下一次执行是从上次被暂停的地方，而不是重新来一轮。

2.使用pytorch的深度学习框架来实现线性回归模型

import numpy as np
    import torch
    from torch.utils import data
    from d2l import torch as d2l
    
    # 生成人工数据集
    true_w = torch.tensor([2,-4.3])
    true_b = 4.2
    features,labels =d2l.synthetic_data(true_w,true_b，1000）
    
    # 调用框架中的现有的API来读取数据
    def load_array(data_arrays,batch_size,is_train=True):
         dataset = data.TensorDataset(*data_arrays)
         return data.DataLoader(dataset,batch_size,shuffle=is_train)
    batch_size = 10
    data_iter = load_array((features,labels),batch_size)
    next(data_iter)
    
    # 使用预定义好的层
    from torch import nn # nn是神经网络的缩写
    net = nn.Sequential(nn.Linear(2,1))
    
    # 初始化模型参数
    net[0].weight.data.normal_(0,0.01)
    net[0].bias.data.fill_(0)
    
    # 计算均方误差使用的是MSELoss类，也称为平方范数
    loss = nn.MSELoss()
    
    # 实例化SGD实例
    trainer = torch.optim.SGD(net.parameters(),lr=0.03)
    
    # 训练数据
    num_epochs = 3
    for epoch in range(num_epochs):
        for x,y in data_iter:
            l = loss(net(x),y) # net中自带模型参数，不用再传
            trainer.zero_grad()
            l.backward()
            trainer.step() # step()函数进行一次模型的更新
       l=loss(net(features),labels)
       print(f'epoch{
          epoch +1},loss{
          l:f}')

[f0d172ff15ad40b5996e9a8f958cbbf8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/ac6a8cb246444074a23d3467d816321b.png
[1740abf65abf4d80a63e9ea7f29b66d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a9a51c4a6c014a37b607997907d9ae30.png
[62d8d5ba13974f219463c682dd0429b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/7ce8809160804f1a8efe2861d5a8ba8d.png
[f5a119aa163a435d93dd71c4e31c1492.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/135df34972d54998b52e48714beff0d7.png
[2a89219d72be4d44a0db3965953a3a87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a3679ec35e904e70994de4e661182772.png
[bd9e068fe85447bb8d70eb79c8e00d85.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/039cfbdb8d34484d80d49751518b3eed.png
[0df1982fe4854bb88ef1de55a2c27c0b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c6070f4f77784b8bb66da736481b350c.png
[815958818478496192ac533b507b1fb4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/9662f744d9494287869ba523b75e3f00.png
[6195ff44b3ae4fa98da00218967589d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b96ef505b893496b9e3172d330a66b57.png
[b3c2766524f7400493744bde57f7b1f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/3c00eca459124c128ec95a83ac4cc491.png
[30e7505ee46a4806a4c78ee6083ed314.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/af3bb4549bd3429eb3cc9779ac6a9b3f.png
[1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b10588e677a9440a8f06c46099177bed.png
[9dfd4ada922e4959aa0e3dc112c56a7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/8059e8092c7e428fb25c427450cbb4d5.png
[23010ccabfba4295af0f35e327b44c8f.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/f9bd7d9970fb48b38cdc9cdcba95be96.png
[5e658030ca034a7abc0ce8e866f30d06.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c4edb8de46a7403ea8f0ae276bef5de9.png
[ed0fb3052fd44a43a6b50f6c1248acdb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/9468cdfdeba845f2bde153cb70db01f9.png
[e6218c3fa5b44473ac48847534fb9e81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/45ca01df69794b5db0169d8e004103bd.png
[24c5fafe616e4d569ed4368cb56dab1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/0f1e1f7bf0494c129e2c3a91ac9f90e7.png
[a8ccb85ef00e4171ab083feb46b6151d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1f57847de08e49f1bf9855be5c7a3985.png
[b28ac15841bd442f9d218e85025a7cd1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c8106248dac5444881018685d1a4d0ca.png