【集成学习】sklearn中xgboost模块的XGBClassifier函数

╰+哭是因爲堅強的太久メ 2022-03-25 02:07 328阅读 0赞

转自：[https://www.cnblogs.com/pengwang52/p/9623093.html][https_www.cnblogs.com_pengwang52_p_9623093.html]

**\# 常规参数**

*  booster
    
     *  gbtree 树模型做为基分类器（默认）
     *  gbliner 线性模型做为基分类器
 *  silent
    
     *  silent=0时，不输出中间过程（默认）
     *  silent=1时，输出中间过程
 *  nthread
    
     *  nthread=-1时，使用全部CPU进行并行运算（默认）
     *  nthread=1时，使用1个CPU进行运算。
 *  scale\_pos\_weight
    
     *  正样本的权重，在二分类任务中，当正负样本比例失衡时，设置正样本的权重，模型效果更好。例如，当正负样本比例为1:10时，scale\_pos\_weight=10。

**\# 模型参数**

*  n\_estimatores
    
     *  含义：总共迭代的次数，即决策树的个数
     *  调参：
 *  early\_stopping\_rounds
    
     *  含义：在验证集上，当连续n次迭代，分数没有提高后，提前终止训练。
     *  调参：防止overfitting。
 *  max\_depth
    
     *  含义：树的深度，默认值为6，典型值3-10。
     *  调参：值越大，越容易过拟合；值越小，越容易欠拟合。
 *  min\_child\_weight
    
     *  含义：默认值为1,。
     *  调参：值越大，越容易欠拟合；值越小，越容易过拟合（值较大时，避免模型学习到局部的特殊样本）。
 *  subsample
    
     *  含义：训练每棵树时，使用的数据占全部训练集的比例。默认值为1，典型值为0.5-1。
     *  调参：防止overfitting。
 *  colsample\_bytree
    
     *  含义：训练每棵树时，使用的特征占全部特征的比例。默认值为1，典型值为0.5-1。
     *  调参：防止overfitting。

**\# 学习任务参数**

*  learning\_rate
    
     *  含义：学习率，控制每次迭代更新权重时的步长，默认0.3。
     *  调参：值越小，训练越慢。
     *  典型值为0.01-0.2。
 *  objective 目标函数
    
     *  **回归任务**
        
         *  reg:linear (默认)
         *  reg:logistic
     *  **二分类**
        
         *  binary:logistic     概率 
         *  binary：logitraw   类别
     *  **多分类**
        
         *  multi：softmax  num\_class=n   返回类别
         *  multi：softprob   num\_class=n  返回概率
     *  rank:pairwise
 *  eval\_metric
    
     *  **回归任务(默认rmse)**
        
         *  rmse--均方根误差
         *  mae--平均绝对误差
     *  **分类任务(默认error)**
        
         *  auc--roc曲线下面积
         *  error--错误率（二分类）
         *  merror--错误率（多分类）
         *  logloss--负对数似然函数（二分类）
         *  mlogloss--负对数似然函数（多分类）
         *   
 *  gamma
    
     *  惩罚项系数，指定节点分裂所需的最小损失函数下降值。
     *  调参：
 *  alpha
    
     *  L1正则化系数，默认为1
 *  lambda
    
     *  L2正则化系数，默认为1

**\# 代码主要函数：**

*  载入数据：load\_digits()
 *  数据拆分：train\_test\_split()
 *  建立模型：XGBClassifier()
 *  模型训练：fit()
 *  模型预测：predict()
 *  性能度量：accuracy\_score()
 *  特征重要性：plot\_importance()

![复制代码][copycode.gif]

1 # -*- coding: utf-8 -*- 2 """ 3 ############################################################################### 4 # 作者：wanglei5205 5 # 邮箱：wanglei5205@126.com 6 # 代码：http://github.com/wanglei5205 7 # 博客：http://cnblogs.com/wanglei5205 8 # 目的：学习xgboost的XGBClassifier函数 9 # 官方API文档：http://xgboost.readthedocs.io/en/latest/python/python_api.html#module-xgboost.training 10 ############################################################################### 11 """ 12 ### load module 13 import matplotlib.pyplot as plt 14 from sklearn import datasets 15 from sklearn.model_selection import train_test_split 16 from sklearn.metrics import accuracy_score 17 from xgboost import XGBClassifier 18 from xgboost import plot_importance 19 20 ### load datasets 21 digits = datasets.load_digits() 22 23 ### data analysis 24 print(digits.data.shape) 25 print(digits.target.shape) 26 27 ### data split 28 x_train,x_test,y_train,y_test = train_test_split(digits.data, 29 digits.target, 30 test_size = 0.3, 31 random_state = 33) 32 ### fit model for train data 33 model = XGBClassifier(learning_rate=0.1, 34 n_estimators=1000, # 树的个数--1000棵树建立xgboost 35 max_depth=6, # 树的深度 36 min_child_weight = 1, # 叶子节点最小权重 37 gamma=0., # 惩罚项中叶子结点个数前的参数 38 subsample=0.8, # 随机选择80%样本建立决策树 39 colsample_btree=0.8, # 随机选择80%特征建立决策树 40 objective='multi:softmax', # 指定损失函数 41 scale_pos_weight=1, # 解决样本个数不平衡的问题 42 random_state=27 # 随机数 43 ) 44 model.fit(x_train, 45 y_train, 46 eval_set = [(x_test,y_test)], 47 eval_metric = "mlogloss", 48 early_stopping_rounds = 10, 49 verbose = True) 50 51 ### plot feature importance 52 fig,ax = plt.subplots(figsize=(15,15)) 53 plot_importance(model, 54 height=0.5, 55 ax=ax, 56 max_num_features=64) 57 plt.show() 58 59 ### make prediction for test data 60 y_pred = model.predict(x_test) 61 62 ### model evaluate 63 accuracy = accuracy_score(y_test,y_pred) 64 print("accuarcy: %.2f%%" % (accuracy*100.0)) 65 """ 66 95.74% 67 """

[https_www.cnblogs.com_pengwang52_p_9623093.html]: https://www.cnblogs.com/pengwang52/p/9623093.html
[copycode.gif]: /images/20220325/edd96162734a4ca7bf1dcc1f9f60ca46.png