GBDT(回归树)

https://www.liuhe.website/index.php?/Articles/single/50

1. 梯度提升

• 梯度提升:首先给定一个目标损失函数，定义域是所有可行的弱函数集合（基函数）

• 梯度提升：通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值

* 符号定义

* 算法说明

* 梯度近似

* 求解

* 算法步骤

2. GBDT

• 梯度提升的典型基函数是决策树 （CART）
• GBDT确定了基函数是cart，损失函数任意，当是平方或者指数时，可以直接求解残差，然后构建基函数；
• 当一般情况，即损失函数不好求解时，可以使伪残差（负梯度），来近似计算残差，去构建基函数

3. GBDT的参数设置

• 树的个数：100-10000
• 深度：3-8
• 学习率：0.01-0.1
• 迭代次数：交叉验证

4. 随机梯度提升

• 每次梯度计算都采用无放回的降采样
• 随机性，减少过拟合

5. 总结

• 目标函数=多个基函数的加权和
• 其他方法:神经网络，傅里叶，小波，svm等