梯度提升树(GBDT)回归

# 1、作用

GBDT 模型是一个加法模型，它串行地训练一组 CART 回归树，最终对所有回归树的预测结果加和，由此得到一个强学习器，每一颗新树都拟合当前损失函数的负梯度方向。最后输出这一组回归树的加和，从而得到回归结果。

# 2、输入输出描述

输入：自变量 X 为 1 个或 1 个以上的定类或定量变量，因变量 Y 为一个定量变量。
输出：模型的预测结果以及效果。

# 3、案例示例

根据房子的户型、电梯、面积、房龄、装修程度、容积率和绿化率，使用梯度提升树(GBDT)回归方法预估该房子的房价。

# 4、案例数据

梯度提升树(GBDT)回归案例数据

# 5、案例操作

Step1：新建分析；
Step2：上传数据；
Step3：选择对应数据打开后进行预览，确认无误后点击开始分析；

step4：选择【梯度提升树(GBDT) 回归】；
step5：查看对应的数据数据格式，按要求输入【梯度提升树(GBDT) 回归】数据(注：定类变量建议进行编码);
step6：进行参数设置（“更多设置”里的参数在客户端可进行设定）
step7：点击【开始分析】，完成全部操作。

# 6、输出结果分析

输出结果 1：模型参数

图表说明：上表展示了训练该模型的时候，输入的参数以及训练所耗的时间。

输出结果 2：特征重要性

图表说明：上柱形图或表格展示了各特征（自变量）的重要性比例。(附：有时候可以利用特征重要性反推该变量在实际生活中的价值，因为该重要性往往决定结果。)
分析：面积、容积率和绿化率是决定房价的重要因素。

输出结果 3：模型评估结果 

图表说明：上表中展示了交叉验证集、训练集和测试集的预测评价指标，通过量化指标来衡量决策树的预测效果。其中，通过交叉验证集的评价指标可以不断调整超参数，以得到可靠稳定的模型。
● MSE（均方误差）：预测值与实际值之差平方的期望值。取值越小，模型准确度越高。
● RMSE（均方根误差）：为 MSE 的平方根，取值越小，模型准确度越高。
● MAE（平均绝对误差）：绝对误差的平均值，能反映预测值误差的实际情况。取值越小，模型准确度越高。
● MAPE（平均绝对百分比误差）：是 MAE 的变形，它是一个百分比值。取值越小，模型准确度越高。
● R²：将预测值跟只使用均值的情况下相比，结果越靠近 1 模型准确度越高。
● oob_score：对于回归问题，oob_score 是袋外数据的 R²。若在建立树过程中选择有放回抽样时，大约 1/3 的记录没有被抽取。没有被抽取的自然形成一个对照数据集，可用于模型的验证。所以随机森林不需要另外预留部分数据做交叉验证，其本身的算法类似交叉验证，而且袋外误差是对预测误差的无偏估计。（当算法参数选择了“袋外测试数据”后，才会通过 oob_score 来检验模型的泛化能力）
分析：
训练集中 R 方为 0.982，测试集中为 0.96，拟合效果优秀。

输出结果 4：测试数据预测结果

图表说明：上表展示了梯度提升树(GBDT) 模型对测试数据的预测情况。
输出结果 5：测试预测图

图表说明：上图中展示了梯度提升树(GBDT) 模型对测试数据的预测情况。
输出结果 6：模型预测与应用（此功能只在客户端支持使用）
注：当无法进行预测功能时，可检查数据集中是否存在定类变量或者缺失值：
● 当存在定类变量时，请在用于训练模型的数据集和用于预测的数据集中将变量编码，再进行操作。
（SPSSPRO：数据处理->数据编码->将定类变量编码为定量）
● 当用于预测数据的数据集中存在缺失值时，请删去缺失值再进行操作。
情况 1：在上面模型评估后，若具有实用性，这时我们可将该模型进行应用。点击【模型预测】上传文件可以直接得到预测结果。

情况 2：若是上传的数据包括因变量真实值，不仅仅可以得到预测结果，还可以得到评价效果。

# 7、注意事项

由于梯度提升树(GBDT) 具有随机性，每次运算的结果不一样。若需要保存本次训练模型，需要使用 SPSSPRO 客户端进行。
梯度提升树(GBDT) 的参数修改需要使用 SPSSPRO 客户端进行。

# 8、模型理论

GBDT 是以 CART 回归树为基学习器的 Boosting 算法。GBDT 由 Friedman 提出，主要解决一般损失函数的优化问题，其核心思想是通过损失函数的负梯度拟合前一轮基学习器的残差，使每一轮的残差估计逐渐减小，因此每一轮基学习器的输出逐渐逼近真值; 负梯度方向上拟合，可以保证每轮训练都能让损失函数尽可能快减小，加速收敛到局部或全局最优解。
算法实现：
模型输入:训练集 T= {(x1，y1)，(x2，y2)，…，(xN，yN)}，损失函数 L(y，f(x))。

式中:N 表示样本数量,M 表示回归树数量,J 表示回归树叶子节点数量,I(x)表示用于判断集合中元素的指示函数,θ 表示超越参数。

# 9、参考文献

[1]Scientific Platform Serving for Statistics Professional 2021. SPSSPRO. (Version 1.0.11)[Online Application Software]. Retrieved from https://www.spsspro.com.
[2]He X , Pan J , Ou J , et al. Practical Lessons from Predicting Clicks on Ads at Facebook[M]. ACM, 2014.

建议反馈