sklearn中的gbdt源码分析

2023年1月27日 65次阅读 来源: dmlllll

简单看了一下sklearn中的gbdt源码
在这里记录一下，目前来说还不能把gbdt的所有理论都搞清楚
sklearn有两个类似于gbdt的实现

GradientBoostingClassifier
GradientBoostingRegressor

一个用于分类，另一个用于回归
这两个类其实区别只在于mixin上，下面是类继承关系

GradientBoostingRegressor继承了
    BaseGradientBoosting
    RegressorMixin
GradientBoostingClassifier继承了
    BaseGradientBoosting
    ClassifierMixin
ClassifierMixin和RgressorMixin的区别：
    classifierMixin使用的是准确率来计算误差
    而回归的是使用r_square来计算误差
实际上这两个模型的差距是很小的，就是计算一下拟合度

然后是整个训练的过程
训练的过程会先设置一些参数
设置n_estimators是要训练的分类器数据
如果损失函数是loss的话，那么就比较简单了
每次训练弱分类器都会根据上一次的结果来
上次生成的y – y_pred会作为新的y传进去
这样来训练直到n_estimators足够

不过在predict结果的时候有点看不懂代码
后面看了再补充

    原文作者：dmlllll
    原文地址: https://segmentfault.com/a/1190000005830127
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞