梯度提升树(GBDT)原理小结

迈不过友情╰ 2023-06-02 09:07 128阅读 0赞

GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其实都是指的同一种算法。

# 1. GBDT概述 #

GBDT是集成学习Boosting中一员，与传统Adaboost不同。Adaboost利用弱学习器的误差率更新训练集的权重，这样迭代下去。GBDT使用前向分布算法迭代，弱学习器只能使用CART回归树，迭代思路与Adaboost也不同。

在GBDT的迭代中，假设前一轮迭代得到的强学习器是 ft-1(x) ，损失函数是 L(y, ft-1(x))，那么本轮迭代的目标是找到一个CART回归树模型的弱学习器 ht(x)，让本轮的损失函数 L(y, ft(x) + ht(x))最小。即本轮迭代找到一个决策树，让损失函数变小。

GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。

但是这个损失的拟合不好度量，损失函数各种各样，怎么找到一种通用的拟合方法？

# 2. GBDT的负梯度拟合 #

Freidman提出用损失函数的负梯度拟合本轮损失的近似值，进而拟合一个CART回归树。

第 t 轮第 i 个样本的损失函数的负梯度表示为：

![1235684-20190813152443118-1019100809.png][]

利用(xi, rti) (i = 1,2,...m)，拟合一个CART回归树，得到第 t 个回归树，对应叶节点区域 Rtj，j = 1,2,...J。其中 J 为叶节点的个数。

针对每一个叶子节点里的样本，求出使损失函数最小，也就是拟合叶子节点最好的输出值 ctj 如下：

![1235684-20190813153748196-1621890275.png][]

这样得到本轮决策树拟合函数：

![1235684-20190813153859677-300856462.png][]

从而得到本轮强学习器表达式：

![1235684-20190813154017603-2138835593.png][]

无论分类还是回归，通过损失函数的负梯度拟合，就可以用GBDT来解决。区别在于损失函数不同导致负梯度不同。

# 3. GBDT回归算法 #

输入：训练集样本 T = \{(x, y1), (x2, y2),...(xm, ym)\}，最大迭代次数 T，损失函数 L

输出：强学习器 f(x)

(1) 初始化弱学习器

![1235684-20190813155056536-1241596845.png][]

(2) 对迭代轮数 t = 1,2,...T，有：

a. 对样本 i=1,2,...m，计算负梯度

![1235684-20190814105251391-985012269.png][]

b. 利用(xi, rti) (i=1,2,...m)，拟合一个CART回归树，得到第 t 个回归树，其对应的叶子节点区域为 Rtj ，j = 1,2,3...J。其中 J 为叶子节点的个数。

c. 对叶子区域 j = 1,2,3...J，计算最佳拟合值

![1235684-20190814105646820-73608221.png][]

d. 更新强学习器

![1235684-20190814105716017-1273928878.png][]

(3). 得到强学习器 f(x) 的表达式

![1235684-20190814105808072-879311967.png][]

# 4. GBDT分类算法 #

分类算法的输出是离散的类别值，需要处理才能使用负梯度。

两个方法：一是用指数损失函数，此时GBDT退化为Adaboost算法。二是用类似逻辑回归的对数似然损失函数方法。

转载于:https://www.cnblogs.com/keye/p/11346779.html

[1235684-20190813152443118-1019100809.png]: /images/20230601/306983aa8c0c46a59a5691be3d533387.png
[1235684-20190813153748196-1621890275.png]: /images/20230601/20d6b3f01999460785ae5c0d42de206e.png
[1235684-20190813153859677-300856462.png]: /images/20230601/7e71b7101a3f445181a5016f797aad74.png
[1235684-20190813154017603-2138835593.png]: /images/20230601/913bc4d0bb6d4e9d98d0bc6f1ea92c12.png
[1235684-20190813155056536-1241596845.png]: /images/20230601/0f1bbafaf73b4b928873f8ad0ecd3b79.png
[1235684-20190814105251391-985012269.png]: /images/20230601/49e268df63ff40a49c90eef4acb2861c.png
[1235684-20190814105646820-73608221.png]: /images/20230601/bd54919d73014d81a43600d01473817c.png
[1235684-20190814105716017-1273928878.png]: /images/20230601/b22c1f9cf5024a7d857c9a487d43481e.png
[1235684-20190814105808072-879311967.png]: /images/20230601/1f04d76949db45e3a05e3d0808364991.png