目录

前言

一、GBDT算法概述

1.决策树

2.Boosting

3.梯度提升

使用梯度上升找到最佳参数

二、GBDT算法原理

1.计算原理

2.预测原理

三、实例算法实现

1.模型训练阶段

1）初始化弱学习器

2）对于建立M棵分类回归树​：

四、Python实现

1.原始决策树累积

2.sklearn

前言

上篇文章内容已经将Adaboost模型算法原理以及实现详细讲述实践了一遍，但是只是将了Adaboost模型分类功能，还有回归模型没有展示，下一篇我将展示如何使用Adaboost模型进行回归算法训练。首先还是先回到梯度提升决策树GBDT算法模型上面来，GBDT模型衍生的模型在其他论文研究以及数学建模比赛中十分常见，例如XGBoost，LighGBM，catboost。其实将这些算法重要的点拿出来就更容易理解了，主要是五个方向的变动改进: