《机器学习与数据挖掘》实验三-求解对数几率回归问题

ゝ一世哀愁。 2023-10-11 18:35 41阅读 0赞

> 实验题目： 求解对数几率回归问题 
> 
> 实验目的： 掌握对数几率回归的基本原理与实现 
> 
> 实验环境（硬件和软件） Anaconda/Jupyter notebook/Pycharm 
> 
> 实验内容：
> 
> 根据给定数据集（存放在data1.txt文件中，二分类数据），编码实现基于梯度下降的Logistic回归算法，并画出决策边界；
> 
> **一、**已经给定部分代码，补充完整的代码，需要补充代码的地方已经用红色字体标注，包括：
> 
> **（****1****）****\#****补充计算代价的代码；**
> 
> **（****2****）****\#****补充参数更新代码；**
> 
> **（****3****）****\#****补充画决策边界的代码；**
> 
> **二、**提交的实验内容：（1）补充完整的代码；（也可以自己重写这部分的代码提交）（2）数据散点图，以及得到的决策边界；（3）梯度下降过程中损失的变化图；（4）基于训练得到的参数，输入新的样本数据，输出预测值；

--------------------

import numpy as np
    import matplotlib.pyplot as plt
    import matplotlib as mpl
    from sklearn.metrics import accuracy_score
    
    def loaddata():
        data = np.loadtxt('这里输入自己文件的路径', delimiter=',')
        n = data.shape[1] - 1
        X = data[:, 0:n]
        y = data[:, -1].reshape(-1, 1)
        return X, y
    
    
    def plot(X, y):
        pos = np.where(y == 1)
        neg = np.where(y == 0)
        plt.scatter(X[pos[0], 0], X[pos[0], 1], marker='x')
        plt.scatter(X[neg[0], 0], X[neg[0], 1], marker='o')
        plt.xlabel('Exam 1 score')
        plt.ylabel('Exam 2 score')
        plt.show()
    
    
    X, y = loaddata()
    plot(X, y)

![散点图][1371f5950a734b2ea6e9869dcaa64ae8.png] 散点图

# sigmod函数
    def sigmoid(z):
        r = 1 / (1 + np.exp(-z))
        return r

# 实现假设函数
    def hypothesis(X, theta):
        z = np.dot(X, theta)
        return sigmoid(z)

# 损失函数
    def computeCost(X, y, theta):
        m = X.shape[0]
        z = -1 * y * np.log(hypothesis(X, theta)) - (1 - y) * np.log(1 - hypothesis(X, theta))
        return np.sum(z) / m

# 梯度下降函数
    def gradientDescent(X, y, theta, iterations, alpha):
        m = X.shape[0]
        X = np.hstack((np.ones((m, 1)), X))
        for i in range(iterations):
            for j in range(len(theta)):
                theta_temp[j] = theta_temp[j] - (alpha / m) * np.sum((hypothesis(X, theta) - y) * X[:,j].reshape(-1,1))
            theta = theta_temp
            if (i % 10000 == 0):
                print('第', i, '次迭代，当前损失为：', computeCost(X, y, theta), 'theta=', theta)
        return theta

> ![2dd80bd103c248648407316f81b56ad9.png][] 每一万次损失结果

#预测函数
    def predict(X):
        c = np.ones(X.shape[0]).transpose()
        X = np.insert(X, 0, values=c, axis=1)
        h = hypothesis(X, theta)
        h[h >= 0.5] = 1
        h[h < 0.5] = 0
        return h

X, y = loaddata()
    n = X.shape[1]  # 特征数
    theta = np.zeros(n + 1).reshape(n + 1, 1)
    # theta是列向量,+1是因为求梯度时X前会增加一个全1列
    theta_temp = np.zeros(n + 1).reshape(n + 1, 1)
    iterations = 50000
    alpha = 0.008
    
    theta = gradientDescent(X, y, theta, iterations, alpha)
    print('theta=\n', theta)

#决策边界
    def plotDescisionBoundary(X, y, theta):
        cm_dark = mpl.colors.ListedColormap(['g', 'r'])
        plt.xlabel('Exam 1 score')
        plt.ylabel('Exam 2 score')
        plt.scatter(X[:, 0], X[:, 1], c=np.array(y).squeeze(), cmap=cm_dark, s=30)
        # 补充画决策边界代码；
        x1 = np.arange(min(X[:, 0]), max(X[:, 0]), 0.1)
        x2 = -(theta[1] * x1 + theta[0] / theta[2])
        plt.plot(x1, x2)
        plt.show()

plotDescisionBoundary(X, y, theta)
    p = predict(X)
    print(np.mean(p == y))
    print(accuracy_score(y, p))

> ![d30181bd483d49a3a7501533e5ab4b15.png][] 决策边界

[1371f5950a734b2ea6e9869dcaa64ae8.png]: https://img-blog.csdnimg.cn/1371f5950a734b2ea6e9869dcaa64ae8.png
[2dd80bd103c248648407316f81b56ad9.png]: https://img-blog.csdnimg.cn/2dd80bd103c248648407316f81b56ad9.png
[d30181bd483d49a3a7501533e5ab4b15.png]: https://img-blog.csdnimg.cn/d30181bd483d49a3a7501533e5ab4b15.png