使用Python实现线性回归

谁践踏了优雅 2023-10-02 17:14 97阅读 0赞

实验目的  
**使用Python实现线性回归**  
实验原理  
**使用最小二乘法进行线性回归，采用均方误差来表示误差，使用梯度下降法进行最小化误差。**  
实验内容（表格区域可拉长）  
（1）已知样本输入和标签如x.txt和y.txt所示，试使用Python求出i.) y=2x+2；ii.) y=x+3；iii.)y = 3x-1这三条直线哪个更加接近于样本给出的值。  
（2）对于上述数据，采用线性回归拟合出该线性方程。  
（要求：采用直接读取文件的方式，不要复制粘贴。）

import numpy as np
    import matplotlib.pyplot as plt
    
    x = list()
    y = list()
    with open("x.txt", "r") as f:
        for line in f.readlines():
            line = float(line.strip())
            x.append(line)
    # print(x)
    with open("y.txt", "r") as f:
        for line in f.readlines():
            line = float(line.strip())
            y.append(line)
    
    loss_sum1 = 0
    for i in range(0, 10):
        a = (2 * x[i] + 2 - y[i]) ** 2
        loss_sum1 += a
    average1 = loss_sum1 / len(x)
    print("损失值为：%.15f"%average1)
    
    loss_sum2 = 0
    for i in range(0, 10):
        b = (x[i] + 3 - y[i]) ** 2
        loss_sum2 += b
    average2 = loss_sum2 / len(x)
    print("损失值为：%.15f"%average2)
    
    loss_sum3 = 0
    for i in range(0, 10):
        b = (3 * x[i] - 1 - y[i]) ** 2
        loss_sum3 += b
    average3 = loss_sum3 / len(x)
    print("损失值为：%.15f"%average3)
    
    if (loss_sum1 < loss_sum2) and (loss_sum1 < loss_sum3):
        print("y=2x+2更加接近样本给出的值")
    if (loss_sum2 < loss_sum1) and (loss_sum2 < loss_sum3):
        print("y=x+1更加接近样本给出的值")
    else:
        print("y=3x-1更加接近样本给出的值")
    
    # def updatekb(data, k, b, learning_rate):
    #     x=data[0]
    #     y=data[1]
    #     n = len(x)
    #     dk, db = 0, 0
    #     for i in range(n):
    #         dk += 2 / 10 * (k*x[i] + b - y[i]) * x[i]
    #         db += 2 / 10 * (k * x[i] + b - y[i])
    #     new_k = k - learning_rate * dk
    #     new_b = b - learning_rate * db
    #     return new_k, new_b
    #
    #
    # def learningcregression(data, k, b, r, h):
    #     dk, db = k, b
    #     n = len(x)
    #     for i in range(n):
    #         dk, db = updatekb(data, dk, db, r)
    #     return dk, db
    #
    #
    # #入口函数
    # def getdata():
    #     x, y = getdata()
    #     return x, y
    #
    #
    # if __name__ == "__main__":
    #     k, b = learningcregression(getdata, 2, 1, 0.001, 10000)
    
    # 取步长为0.001
    k = [3, 0]
    b = [-1, 0]
    ones = 0
    
    while True:
        dk, db = 0, 0
        for i in range(0, 10):
            dk += 2 / 10 * (k[0] * x[i] + b[0] - y[i]) * x[i]
            db += 2 / 10 * (k[0] * x[i] + b[0] - y[i])
        k[1] = k[0] - 0.001 * dk
        b[1] = b[0] - 0.001 * db
        if ones == 100000:
            break
        else:
            k[0] = k[1]
            b[0] = b[1]
            ones += 1
    print("拟合回归方程的斜率k为：%.7f"%k[1])
    print("拟合回归方程的斜率k为：%.7f"%b[1])
    print(ones)
    print("拟合回归方程为：%.7f * x + %.7f" % (k[1], b[1]))
    
    x = np.array(x)
    y = np.array(y)
    Y = k[1] * x + b[1]
    plt.scatter(x, y)
    plt.plot(x, Y, '*-g')
    plt.show()

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16]

思考题（表格区域可拉长）  
（1）试引入sklearn包，直接计算该线性方程。（注：选做）  
（2）试将上述坐标点和线性方程的图像使用Python画入平面直角坐标系中。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16 1]

（3）试思考当有2个及以上特征时，如何使用线性回归方法来实现拟合。（注：文字描述即可）

3）当特征值为两个的时候，则是一个二维平面（横纵坐标分别表示一个特征值）。当出现两个以上的特征值时，特征值越多，坐标的维数越多，那么模型建立起来就比较繁琐，而且多特征有时还会存在多重共线性问题，即相互之间具有关联关系，导致解空间不稳定，模型泛化能力弱，过多特征也会妨碍模型学习规律。因此，当特征值比较多时我们通常可以采用降维的方式减少维数，使模型简单准确，简单来说就是指可以用更少维度的特征替代更高维度的特征，同时保留有用的信息，把高维空间上的多个特征组合成少数几个无关的主成分，同时包含原数据中大部分的变异信息，简单的来说就是在二维坐标(x,y)内均匀分布在一条回归线上下，在三维坐标内(x,y,z)还是按照近似二维平面分布，第三个维度(z)对回归拟合的影响非常小，故可以删除这个特征向量(z),用二维(x,y)来反映原始数据，除此之外还有其他的方法进行降维，例如缺失值比率 、低方差滤波 、高相关滤波 、随机森林/组合树等  
注：变异信息就用方差来衡量，第一主成分是高维空间上的一个向量，所有的点沿着这条线波动最大，或者说所有的点到直线的距离的平方和最小。如下图所示，所有的点沿着绿色直线的波动最大，它就代表着第一主成分向量。

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/f8351feb0ac647c88414fc07b845ae86.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN6Imv5L2_,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5LiN6Imv5L2_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/e95e1d98c7a244fbba25cda08f031c1a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN6Imv5L2_,size_20,color_FFFFFF,t_70,g_se,x_16