【20210911】【机器/深度学习】Cart决策树、lightGBM模型训练阶段小结

逃离我推掉我的手 2022-08-28 15:56 299阅读 0赞

# 一、背景 #

问题源于工作中的一项分类任务，正负样本比例严重失衡，想使用 lgb 实现二分类算法。

# 二、读取样本集（.mat格式的数据） #

import scipy.io as scio
    import pandas as pd
    
    data_dict = scio.loadmat('样本集.mat')   # scio.loadmat()读出来的数据是dict格式
    data_narray = data_dict['data']  # dict转为narray格式
    data_df = pd.DataFrame(data_narray, columns=column_name)  # narray格式转为dataframe格式

对样本集进一步处理：正样本分为了多种类型，对应了多种标签，需要进一步处理，将这几种标签映射成一种标签，处理之后的标签只有 1 和 0 两种，分别对应正样本、负样本。

映射标签涉及到了修改 dataframe 的数据，这个过程我踩了坑，具体见：[【20210907】【Python】修改Dataframe符合条件的行、列值][20210907_Python_Dataframe]

# 三、划分训练集和测试集 #

划分训练集和测试集通常使用 上sklearn.model\_selection 中的 train\_test\_split，使用方法如下：

from sklearn.model_selection import train_test_split
    
    [data_train, data_test, labels_train, labels_test] = train_test_split(myData, labels, test_size=0.3)
    
    ''' myData是特征数据；
        labels是标签数据；
        test_size是测试集占总数据数量的比例，也就是说划分出来的训练集和测试集的比例是7：3 '''

这种划分方式的特点在于测试集中有70%的数据是经过训练的，但并不适用于这个场景，所以修改了划分训练集和测试集的方式：

num_total = data_df.iloc[:, 0].size  # 样本总个数
    
    num_train = round(2 / 3 * num_total)  # 选训练集和测试集的比例为 2:1
    num_test = num_total - num_train
    
    data_train = data_df.iloc[0 : num_train]  # 训练集数据
    data_test = data_df.iloc[num_train : num_total]  # 测试集数据

# 四、解决训练集正负样本不均衡的问题 #

### 1. 方式一：对负样本进行随机下采样 ###

import random
    
    data_train_normal = data_train[data_train['标签']==0]  # 负样本数据
    indexTrain_neg = data_train_normal.index.values.tolist()  # 负样本的index
    
    tmp = data_train.groupby('标签')['标签'].count()  # 查看正负样本的个数
    tmp_dict = dict(tmp)  # Series转成dict
    num_pos = tmp_dict[1.0]  # 正样本个数
    num_neg = tmp_dict[0.0]  # 负样本个数
    
    ratio = 3  # 设置正负样本比例为1:3
    num_neg_underSample = ratio * num_pos
    index_neg_underSample = random.sample(indexTrain_neg, num_neg_underSample)  # 从负样本中随机抽样

（参考：[Python random() 函数][Python random_]）

（参考：[Python中产生随机数][Python]）

### 2. 方式二：提高正样本的权重 ###

不同的库函数，有不同的设置方式，例如：

（1）tree.DecisionTreeClassifier 的 class\_weight

from sklearn import tree
    
    clf = tree.DecisionTreeClassifier(criterion='gini', splitter='best', class_weight='balanced')  # 计算机自动计算一个合适的正负样本的权重比例
    
    clf = tree.DecisionTreeClassifier(criterion='gini', splitter='best', class_weight={0:1, 1:3})  # 设置正负样本权重为 3:1（通常是设置为样本个数的倒数）
    
    ''' 注意：对 class_weight 指定具体的值时，数据格式为 dict！ '''

（参考：[sklearn的class\_weight设置为'balanced'的计算方法][sklearn_class_weight_balanced]）

（参考：[python：决策树中样本不均衡的问题怎么解决][python]）

（2）lgb.train 的 scale\_pos\_weight

import lightGBM as lgb
    
    params = {
            'learning rate': 0.1,
            'lambda_l1': 0,
            'lambda_l2': 0,
            'max_depth': 4,
            'objective': 'multiclass',
            'num_class': 2,
            'scale_pos_weight': 3  # 设置正样本权重
        }
    
    gbm = lgb.train(params, dataset_train, valid_sets=dataset_test)

下图从左到右依次给出了：设置class\_weight='balanced'、class\_weight 和正负样本个数成反比、对负样本降采样到正样本数量的三倍的结果。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16][] ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16 1][] ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16 2][]

正负样本比例严重失衡，所以将 class\_weight设置为'balanced' 之后计算机将正样本的权重设置的过高，导致模型会很注重这些小样本，而误伤了许多负样本，所以精确率很低，而召回率较高。

# 五、模型训练 #

### 1. 方法一：使用 tree 库函数 ###

from sklearn import tree
    
    clf = tree.DecisionTreeClassifier(criterion='gini', splitter='best')
    clf = clf.fit(data_train, labels_train)
    
    labels_train_pre = clf.predict(data_train)  # 训练集预测标签
    labels_test_pre = clf.predict(data_test)  # 测试集预测标签

### 2. 方法二：使用 lgb ###

import lightGBM as lgb
    
    dataset_train = lgb.Dataset(data_train, labels_train)  # 将样本集转换成 lgb 模型训练需要的 Dataset 格式
    dataset_test = lgb.Dataset(data_test, labels_test)
    gbm = lgb.train(params, dataset_train, valid_sets=dataset_test)
    
    prob_train_pre = gbm.predict(data_train)  # lgb模型训练结果：是该样本属于某个种类的概率
    prob_test_pre = gbm.predict(data_test)
    
    labels_train_pre = [list(x).index(max(x)) for x in prob_train_pre]  # 将概率转换成标签
    labels_test_pre = [list(y).index(max(y)) for y in prob_test_pre]

# 六、模型评价 #

### 1. 评价指标 ###

from sklearn.metrics import precision_score
    from sklearn.metrics import recall_score
    from sklearn.metrics import f1_score
    from sklearn.metrics import roc_curve
    from sklearn.metrics import auc
    from sklearn.metrics import roc_auc_score
    
    precision = precision_score(labels_test, labels_test_pre)  # 精确率
    recall = recall_score(labels_test, labels_test_pre)  # 召回率
    f1 = f1_score(labels_test, labels_test_pre)  # f1_score
    AUC = roc_auc_score(labels_test, labels_test_pre)  # AUC
    
    ''' 或者：
        fpr, tpr, thresholds = roc_curve(labels_test, labels_test_pre)  # 计算真正率和假正率
        AUC = auc(fpr, tpr)  # 根据计算出的真正率和假正率计算 AUC
    '''

（1）roc\_curve：用来计算 假正率 fpr 和真正率 tpr；

（2）auc：计算 ROC 曲线下的面积 area；

（3）roc\_auc\_score：计算 AUC，即预测得分下的 auc，也就是输出的AUC。在计算的时候调用了 auc，它不能用于多分类。

（参考：[curve函数 roc\_分类器指标ROC曲线和AUC值][curve_ roc_ROC_AUC]）

（参考：[sklearn：auc、roc\_curve、roc\_auc\_score][sklearn_auc_roc_curve_roc_auc_score]）

（参考：[sklearn学习：为什么roc\_auc\_score()和auc()有不同的结果？][sklearn_roc_auc_score_auc]）

### 2. 绘制混淆矩阵、ROC曲线 ###

# 七、特征选择 #

（参考：[机器学习中特征选择概述][Link 1]）

（参考：[机器学习中的特征选择\_hellozhxy的博客-CSDN博客][hellozhxy_-CSDN]）

### 1. 方法一：使用 tree 库函数输出特征重要性 ###

from sklearn import tree
    
    clf = tree.DecisionTreeClassifier(criterion='gini')
    fea_importances = clf.feature_importances_  # 特征重要性

（参考：[在Python中获取clf.feature\_importances][Python_clf.feature_importances]）

### 2. 方法二：使用 lgb 输出特征重要性 ###

[20210907_Python_Dataframe]: https://blog.csdn.net/weixin_40583722/article/details/120158673
[Python random_]: https://www.runoob.com/python/func-number-random.html
[Python]: https://blog.csdn.net/zq476668643/article/details/95219453
[sklearn_class_weight_balanced]: https://www.cnblogs.com/qi-yuan-008/p/11992156.html
[python]: https://www.cda.cn/discuss/post/details/5f11785af8aa1b450e83353b
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/20210911163753547.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAU2F0aXNmeWluZw==,size_4,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/20210911163817745.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAU2F0aXNmeWluZw==,size_4,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_4_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/811470c4623f4c81af4a2df793170648.png
[curve_ roc_ROC_AUC]: https://blog.csdn.net/weixin_42356331/article/details/112264789
[sklearn_auc_roc_curve_roc_auc_score]: https://www.pianshen.com/article/517880764/
[sklearn_roc_auc_score_auc]: https://www.cnblogs.com/hightech/p/12801258.html
[Link 1]: https://blog.csdn.net/xiaocong1990/article/details/70804370
[hellozhxy_-CSDN]: https://blog.csdn.net/hellozhxy/article/details/105797776?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0.essearch_pc_relevant&spm=1001.2101.3001.4242
[Python_clf.feature_importances]: https://www.pythonheidong.com/blog/article/702642/bf481ba5e22ba71ee8e2/