（十一）机器学习---集成学习GBDT算法详解

浅浅的花香味﹌ 2022-12-27 12:57 282阅读 0赞

### 目录 ###

*   *  一：CART回归树
     *   *  1：回归树生成算法：
     *  二：提升树：
     *   *  1：提升树介绍：
         *  2：提升树的模拟案例：
         *  3：提升树的自我理解：
     *  三：梯度提升：
     *  四：GBDT算法：
     *   *  1：GBDT算法分析：

## 一：CART回归树 ##

问题一：GBDT为什么用CART回归树,而不用CART分类树？  
答：因为GBDT每次迭代要拟合的是**梯度值**，是**连续值**所以要⽤**回归树**。

问题二：CART回归树划分最佳的划分点的判断标准是什么？  
答：回归树因为样本标签是连续数值，所以再使⽤熵之类的指标 不再合适，取⽽代之的是**平方误差**，它能很好的评判拟合程度。

### 1：回归树生成算法： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]  
案例分析：  
现在给定下表，要求根据身高和食物，预测体重。

1：首先根据身高进行划分，一次计算损失值：  
以身高159计算，划分成两类：一类的预测值是 48.5，另一类的预测值是（56.9+87.3+76.5）/3 = 73.6,所以如果现在预测身高156的人的体重，我会返回48.5，如果现在预测身高178的体重，我会返回73.6，则上半部分损失值 = （48.5-48.5）的平方，下半部分损失值=（56.9-73.6）的平方 + （87.3-73.6）的平方+ (73.6 - 76.5)的平方。  
…  
2：然后根据食物进行划分，再次计算损失值。  
3：在上面两步的损失值中，肯定有一个最小的，我们就把这个最小的条件，作为划分第一次的节点。  
如果假设以身高163进行划分，大于163的是一类，小于163的是一类，则划分如下图：小于163，我们预测52.7，大于163，预测81.9。  
4： 然后再在两个划分完的子集中，继续划分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]  
算法描述：

> 1：选取每个特征的每个取值，根据该值对样本进行划分成两部分。  
> 2：分别计算每部分损失值，选取损失值最小的特征和对应的取值作为划分点，进行划分。  
> 3：对于每部分，再用同样的方法进行划分。

## 二：提升树： ##

### 1：提升树介绍： ###

*  1：**提升树采用向前分步算法，每次得到一棵决策树，最终将决策树累加起来**。
 *  2： **本次模型 = 上次模型 + 当前的树**
 *  3：不同的问题，我的损失函数是不同的：**平方差损失（回归问题**），**指数损失函数（分类问题）**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]  
    经过推导发现：当前的损失值 = **真实值与上次模型的差值**再减去**当前树的值**的平方。

### 2：提升树的模拟案例： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]

### 3：提升树的自我理解： ###

> 1：首先会根据切分点，计算每个切分点的损失值，得到损失最小的切分点。  
> 2：根据切分点，构建我们的初始的回归树，并且计算回归树的平方误差损失。  
> 3：如果平方误差损失达到我们的条件，则停止。否则计算预测值和真实值差值（残差值）。  
> 4：根据残差值构建回归树，直到平方误差损失，我们可以接受为止。

## 三：梯度提升： ##

*  1：负梯度 = 残差：
 *  2： 损失函数对模型函数求偏导数，取负号。得到梯度。
 *  3：梯度表示的意思是啥？损失函数下降最快的方向。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]

## 四：GBDT算法： ##

*  1：**与回归树唯一的区别就是使用的是负梯度。**

### 1：GBDT算法分析： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/b836cabe78914dabb27a096838f72e43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: /images/20221120/14b385f8dc8d49f6aa7f47de217a1785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: /images/20221120/93256a72954a485dbd927ee5505855b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: /images/20221120/e886d1b30d2f41d38b18f7cf5117dea4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: /images/20221120/4edb0903c6514f49b68bf414b7efa70f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: /images/20221120/fe52d4ea05d94d7d837bbbb4a1f3aebc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: /images/20221120/16b2c6cdbede439c83fe0c2ecc7cf535.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: /images/20221120/fd703e0fb1d84888b001ae35e6c4ecf1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]: /images/20221120/62e07d68e0fa45c6aa80237e0e09ea4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]: /images/20221120/0d025f2213614e4796d70c0ac27f89a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]: /images/20221120/0088b1b3232048f18a4391047e19ba4b.png