分类算法实例一：用Logistic算法进行乳腺癌数据分类

Bertha 。 2023-07-13 12:15 20阅读 0赞

import numpy as np
    import matplotlib as mpl
    import matplotlib.pyplot as plt
    import pandas as pd
    import warnings
    import sklearn
    from sklearn.linear_model import LogisticRegressionCV,LinearRegression
    from sklearn.linear_model.coordinate_descent import ConvergenceWarning
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    
    # 设置字符集，防止中文乱码
    mpl.rcParams['font.sans-serif']=[u'simHei']
    mpl.rcParams['axes.unicode_minus']=False
    # 拦截异常
    warnings.filterwarnings(action = 'ignore', category=ConvergenceWarning)
    
    # 数据读取并处理异常数据
    path = "datas/breast-cancer-wisconsin.data"
    names = ['id','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape',
             'Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei',
            'Bland Chromatin','Normal Nucleoli','Mitoses','Class']
    
    df = pd.read_csv(path, header=None, names=names)
    # 只要有列为空，就进行删除操作
    datas = df.replace('?', np.nan).dropna(how = 'any')
    # 显示前5条数据
    datas.head(5)

![20200311225041387.png][]

# 1. 数据提取以及数据分隔
    # 数据提取
    X = datas[names[1:10]]
    Y = datas[names[10]]
    # 数据分隔
    X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size=0.1,random_state=0)
    
    # 2. 数据格式化（归一化数据）
    ss = StandardScaler()
    X_train = ss.fit_transform(X_train)
    
    # 3. 模型构建及训练
    # penalty：过拟合解决参数，取值l1或者l2
    # solver：参数优化方式
    # 当penalty为l1的时候，参数只能是：liblinear(坐标轴下降法)
    # nlbfgs和cg都是关于目标函数的二阶泰勒展开
    # 当penalty为l2的时候，参数可以是：lbfgs（拟牛顿法）、newton-cg（牛顿法变种）、seg（minibatch）
    # 维度<10000时，lbfgs法比较好，维度>10000时，cg法比较好，显卡计算的时候，lbfgs和cg都比seg快
    # multi_class：分类方式参数；参数可选：ovr（默认）、multinomial；这两种方式在二元分类问题中，效果是一样的；在多元分类问题中，效果不一样
    # ovr：one-vs-rest， 对于多元分类的问题，先将其看做二元分类，分类完成后，再迭代对其中一类继续进行二元分类
    # multinomial：many-vs-many（MVM），对于多元分类问题，如果模型有T类，我们每次在所有的T类样本里面选择两类样本出来
    # 不妨记为T1类和T2类，把所有的输出为T1和T2的样本放在一起，把T1作为正例，T2作为负例，进行二元逻辑回归，得到模型参数。我们一共需要T(T-1)/2次分类
    # class_weight：特征权重参数
    # Logistic回归是一种分类算法，不能应用于回归中（也即是说对于传入模型的y值来讲，不能是float类型，必须是int类型）
    
    lr = LogisticRegressionCV(multi_class='ovr', fit_intercept=True, Cs=np.logspace(-2, 2, 20), cv=2, penalty='l2', solver='lbfgs', tol=0.01)
    re = lr.fit(X_train, Y_train)
    
    # 4. 模型效果获取
    r = re.score(X_train, Y_train)
    print("R值（准确率）：", r)
    print("稀疏化特征比率：%.2f%%" % (np.mean(lr.coef_.ravel() == 0) * 100))
    print("参数：",re.coef_)
    print("截距：",re.intercept_)
    print(re.predict_proba(X_test))

![20200311230817911.png][]

# 5. 模型相关信息保存
    # 引入包
    from sklearn.externals import joblib
    # 将标准化模型保存，要求文件夹必须存在
    joblib.dump(ss, "datas/logistic/ss.model")
    # 将模型保存，要求文件夹必须存在
    joblib.dump(lr, "datas/models/logistic/lr.model")
    
    # 6. 模型加载
    # 引入包
    from sklearn.externals import joblib
    oss = joblib.load("models/logistic/ss.model")
    olr = joblib.load("models/logistic/lr.model")
    
    # 数据预测
    # a. 预测数据格式化（归一化）
    X_test = ss.transform(X_test) # 使用模型进行归一化操作
    # b. 结果数据预测
    Y_predict = re.predict(X_test)
    # c. 图表展示
    x_len = range(len(X_test))
    plt.figure(figsize=(14,7), facecolor='w')
    plt.ylim(0,6)
    plt.plot(x_len, Y_test, 'ro',markersize = 8, zorder=3, label=u'真实值')
    plt.plot(x_len, Y_predict, 'go', markersize = 14, zorder=2, label=u'预测值,$R^2$=%.3f' % re.score(X_test, Y_test))
    plt.legend(loc = 'upper left')
    plt.xlabel(u'数据编号', fontsize=18)
    plt.ylabel(u'乳腺癌类型', fontsize=18)
    plt.title(u'Logistic回归算法对数据进行分类', fontsize=20)
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70][]

[20200311225041387.png]: https://img-blog.csdnimg.cn/20200311225041387.png
[20200311230817911.png]: https://img-blog.csdnimg.cn/20200311230817911.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200311231816475.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvbmd4aWZhY2FpX2JlbGlldmU=,size_16,color_FFFFFF,t_70