模型融合---CatBoost总结

时间  2019-11-13
标签 模型 融合 catboost 总结 繁體版
原文   原文链接

1、Catboost简介

2、Catboost的特色

　　通常来讲，Gradient Boosting(GB)方法适用于异质化数据。即，若你的数据集全由图片数据构成或者全由视频数据构成之类的，咱们称其为同质化数据，这时使用神经网络每每会有更好的表现。但对于异质化数据，好比说数据集中有user gender，user age，也有content data等等的状况，GB方法的表现每每更好。GB方法比神经网络的入门门槛更低，使用起来也更简单。html

　　NN和GB方法能够结合起来使用，并经常有很好的表现。咱们可使用NN方法学习embedding feature，而且和其余一些特征结合起来，再过GBDT。python

　　Catboost具备一些和其余相似的库不一样的特征：git

1.类别型特征

　　对于可取值的数量比独热最大量还要大的分类变量，CatBoost 使用了一个很是有效的编码方法，这种方法和均值编码相似，但能够下降过拟合状况。它的具体实现方法以下：github

  • 将输入样本集随机排序，并生成多组随机排列的状况。
  • 将浮点型或属性值标记转化为整数。
  • 将全部的分类特征值结果都根据如下公式，转化为数值结果。

　　其中 CountInClass 表示在当前分类特征值中，有多少样本的标记值是「1」；Prior 是分子的初始值，根据初始参数肯定。TotalCount 是在全部样本中（包含当前样本），和当前样本具备相同的分类特征值的样本数量。能够用下面的数学公式表示：算法

特征组合

其次，它用特殊的方式处理categorical features。首先他们会计算一些数据的statistics。计算某个category出现的频率，加上超参数，生成新的numerical features。这一策略要求同一标签数据不能排列在一块儿（即先全是0以后全是1这种方式），训练以前须要打乱数据集。第二，使用数据的不一样排列（其实是4个）。在每一轮创建树以前，先扔一轮骰子，决定使用哪一个排列来生成树。第三，考虑使用categorical features的不一样组合。例如颜色和种类组合起来，能够构成相似于blue dog这样的feature。当须要组合的categorical features变多时，catboost只考虑一部分combinations。在选择第一个节点时，只考虑选择一个feature，例如A。在生成第二个节点时，考虑A和任意一个categorical feature的组合，选择其中最好的。就这样使用贪心算法生成combinations。第四，除非向gender这种维数很小的状况，不建议本身生成one-hot vectors，最好交给算法来处理。

网络

2.克服梯度误差

catboost和其余算法计算leaf-value的方法不一样。传统的boosting使用平均数，但这个估计是有偏的，会致使过拟合。而Catboost则采用另外的计算方法。dom

　　CatBoost，和全部标准梯度提高算法同样，都是经过构建新树来拟合当前模型的梯度。然而，全部经典的提高算法都存在由有偏的点态梯度估计引发的过拟合问题。许多利用GBDT技术的算法（例如，XGBoost、LightGBM），构建一棵树分为两个阶段：选择树结构和在树结构固定后计算叶子节点的值。为了选择最佳的树结构，算法经过枚举不一样的分割，用这些分割构建树，对获得的叶子节点中计算值，而后对获得的树计算评分，最后选择最佳的分割。两个阶段叶子节点的值都是被当作梯度[8]或牛顿步长的近似值来计算。CatBoost第一阶段采用梯度步长的无偏估计，第二阶段使用传统的GBDT方案执行。

3.快速评分

Catboost使用对称树。XGboost一层一层地创建节点，lightGBM一个一个地创建节点，而Catboost老是使用彻底二叉树。它的节点是镜像的。Catboost称对称树有利于避免overfit，增长可靠性，而且能大大加速预测等等。机器学习

　　CatBoost使用oblivious树做为基本预测器，这种树是平衡的，不太容易过拟合。oblivious树中，每一个叶子节点的索引能够被编码为长度等于树深度的二进制向量。CatBoost首先将全部浮点特征、统计信息和独热编码特征进行二值化，而后使用二进制特征来计算模型预测值。分布式

4.基于GPU实现快速学习

  • 密集的数值特征

　　任何GBDT算法，对于密集的数值特征数据集来讲，搜索最佳分割是创建决策树时的主要计算负担。CatBoost利用oblivious决策树做为基础模型，并将特征离散化到固定数量的箱子中以减小内存使用。就GPU内存使用而言，CatBoost至少与LightGBM同样有效。主要改进之处就是利用了一种不依赖于原子操做的直方图计算方法。函数

  • 类别型特征

　　CatBoost使用完美哈希来存储类别特征的值，以减小内存使用。因为GPU内存的限制，在CPU RAM中存储按位压缩的完美哈希，以及要求的数据流、重叠计算和内存等操做。经过哈希来分组观察。在每一个组中，咱们须要计算一些统计量的前缀和。该统计量的计算使用分段扫描GPU图元实现。

  • 多GPU支持

　　CatBoost中的GPU实现可支持多个GPU。分布式树学习能够经过数据或特征进行并行化。CatBoost采用多个学习数据集排列的计算方案，在训练期间计算分类特征的统计数据。

3、与xgboost、lightgbm的对比

参数对比：

数据集：

在这里，我使用了 2015 年航班延误的 Kaggle 数据集，其中同时包含分类变量和数值变量。这个数据集中一共有约 500 万条记录，所以很适合用来同时评估比较三种 boosting 算法的训练速度和准确度。我使用了 1% 的数据：5 万行记录。

如下是建模使用的特征：

月、日、星期：整型数据
航线或航班号：整型数据
出发、到达机场：数值数据
出发时间：浮点数据
到达延误状况：这个特征做为预测目标，并转为二值变量：航班是否延误超过 10 分钟
距离和飞行时间：浮点数据

import pandas as pd, numpy as np, time
from sklearn.model_selection import train_test_split

data = pd.read_csv("flight-delays/flights.csv")
data = data.sample(frac = 0.1, random_state=10)#500->50

data = data.sample(frac = 0.1, random_state=10)#50->5

data.shape#(58191, 31)

data = data[["MONTH","DAY","DAY_OF_WEEK","AIRLINE","FLIGHT_NUMBER","DESTINATION_AIRPORT",
                 "ORIGIN_AIRPORT","AIR_TIME", "DEPARTURE_TIME","DISTANCE","ARRIVAL_DELAY"]]
data.dropna(inplace=True)

data["ARRIVAL_DELAY"] = (data["ARRIVAL_DELAY"]>10)*1
#data.head()

cols = ["AIRLINE","FLIGHT_NUMBER","DESTINATION_AIRPORT","ORIGIN_AIRPORT"]
for item in cols:
    data[item] = data[item].astype("category").cat.codes +1

train, test, y_train, y_test = train_test_split(data.drop(["ARRIVAL_DELAY"], axis=1), data["ARRIVAL_DELAY"],
                                                random_state=10, test_size=0.25)

 最终的数据集大概长这个样子：

1.xgboost

　　和 CatBoost 以及 LGBM 算法不一样，XGBoost 自己没法处理分类变量，而是像随机森林同样，只接受数值数据。所以在将分类数据传入 XGBoost 以前，必须经过各类编码方式：例如标记编码、均值编码或独热编码对数据进行处理。

import xgboost as xgb
from sklearn.grid_search import GridSearchCV
from sklearn import metrics

def auc(m, train, test): 
    return (metrics.roc_auc_score(y_train,m.predict_proba(train)[:,1]),
                            metrics.roc_auc_score(y_test,m.predict_proba(test)[:,1]))

Parameter Tuning
model = xgb.XGBClassifier()
param_dist = {"max_depth": [10，30,50],
              "min_child_weight" : [1],
              "n_estimators": [200],
              "learning_rate": [0.16],}
grid_search = GridSearchCV(model, param_grid=param_dist, cv = 3, 
                                   verbose=10, n_jobs=-1)
grid_search.fit(train, y_train)

grid_search.best_estimator_

model = xgb.XGBClassifier(max_depth=10, min_child_weight=1,  n_estimators=200,\
                          n_jobs=-1 , verbose=1,learning_rate=0.16)

train.shape,y_train.shape#((42855, 10), (42855,))

model.fit(train,y_train)

auc(model,train,test)#过拟合 (1.0, 0.6990888367179413)

　　

2.Light GBM

　　和 CatBoost 相似，LighGBM 也能够经过使用特征名称的输入来处理属性数据；它没有对数据进行独热编码，所以速度比独热编码快得多。LGBM 使用了一个特殊的算法来肯定属性特征的分割值。注意，在创建适用于 LGBM 的数据集以前，须要将分类变量转化为整型变量；此算法不容许将字符串数据传给分类变量参数。

（1）不加categorical_feature 选项

import lightgbm as lgb
from sklearn import metrics

def auc2(m, train, test): 
    return (metrics.roc_auc_score(y_train,m.predict(train)),
                            metrics.roc_auc_score(y_test,m.predict(test)))

lg = lgb.LGBMClassifier(silent=False)
param_dist = {"max_depth": [25,50, 75],
              "learning_rate" : [0.01,0.05,0.1],
              "num_leaves": [300,900,1200],
              "n_estimators": [200]
             }
grid_search = GridSearchCV(lg, n_jobs=-1, param_grid=param_dist, cv = 3, scoring="roc_auc", verbose=5)
grid_search.fit(train,y_train)
grid_search.best_estimator_

d_train = lgb.Dataset(train, label=y_train)
params = {"max_depth": 50, "learning_rate" : 0.1, "num_leaves": 900,  "n_estimators": 300}

# Without Categorical Features
model2 = lgb.train(params, d_train)

auc2(model2, train, test)#(1.0, 0.6813950368358092)

（2）加categorical_feature 选项

#With Catgeorical Features
cate_features_name = ["MONTH","DAY","DAY_OF_WEEK","AIRLINE","DESTINATION_AIRPORT",
                 "ORIGIN_AIRPORT"]

d_train = lgb.Dataset(train, label=y_train)

model2 = lgb.train(params, d_train, categorical_feature = cate_features_name)

auc2(model2, train, test)#(1.0, 0.6781812538027399)

　　

3. CatBoost

　　在对 CatBoost 调参时，很难对分类特征赋予指标。所以，同时给出了不传递分类特征时的调参结果，并评估了两个模型：一个包含分类特征，另外一个不包含。我单独调整了独热最大量，由于它并不会影响其余参数。

　　若是未在cat_features参数中传递任何内容，CatBoost会将全部列视为数值变量。注意，若是某一列数据中包含字符串值，CatBoost 算法就会抛出错误。另外，带有默认值的 int 型变量也会默认被当成数值数据处理。在 CatBoost 中，必须对变量进行声明，才可让算法将其做为分类变量处理。

（1）不加Categorical features选项

import catboost as cb
cat_features_index = [0,1,2,3,4,5,6]

def auc(m, train, test): 
    return (metrics.roc_auc_score(y_train,m.predict_proba(train)[:,1]),
                            metrics.roc_auc_score(y_test,m.predict_proba(test)[:,1]))

params = {'depth': [4, 7, 10],
          'learning_rate' : [0.03, 0.1, 0.15],
         'l2_leaf_reg': [1,4,9],
         'iterations': [300]}
cb = cb.CatBoostClassifier()
cb_model = GridSearchCV(cb, params, scoring="roc_auc", cv = 3)
cb_model.fit(train, y_train)

# With Categorical features
clf = cb.CatBoostClassifier(eval_metric="AUC", depth=10, iterations= 500, l2_leaf_reg= 9, 
learning_rate= 0.15)
%timeit clf.fit(train,y_train)

auc(clf, train, test)#(0.7994405189483305, 0.7097991233818941)

 （2）有Categorical features选项

# With Categorical features
clf = cb.CatBoostClassifier(eval_metric="AUC",one_hot_max_size=31, \
                            depth=10, iterations= 500, l2_leaf_reg= 9, learning_rate= 0.15)
clf.fit(train,y_train, cat_features= cat_features_index)

auc(clf, train, test)#(0.7937591249216596, 0.7167802198229718)

　　


 　　请记住，CatBoost 在测试集上表现得最好，测试集的准确度最高（0.716）、过拟合程度最小（在训练集和测试集上的准确度很接近）以及最小的预测和调试时间。但这个表现仅仅在有分类特征，并且调节了独热最大量时才会出现。若是不利用 CatBoost 算法在这些特征上的优点，它的表现效果就会变成最差的：仅有 0.709 的准确度。所以咱们认为，只有在数据中包含分类变量，同时咱们适当地调节了这些变量时，CatBoost 才会表现很好。

　　第二个使用的是 XGBoost，它的表现也至关不错。即便不考虑数据集包含有转换成数值变量以后能使用的分类变量，它的准确率也和 CatBoost 很是接近了。可是，XGBoost 惟一的问题是：它太慢了。尤为是对它进行调参，很是使人崩溃。更好的选择是分别调参，而不是使用 GridSearchCV。

　　最后一个模型是 LightGBM，这里须要注意的一点是，在使用 CatBoost 特征时，LightGBM 在训练速度和准确度上的表现都很是差。我认为这是由于它在分类数据中使用了一些修正的均值编码方法，进而致使了过拟合（训练集准确率很是高：1.0，尤为是和测试集准确率相比之下）。但若是咱们像使用 XGBoost 同样正常使用 LightGBM，它会比 XGBoost 更快地得到类似的准确度，若是不是更高的话（LGBM—0.681, XGBoost—0.699）。

　　最后必须指出，这些结论在这个特定的数据集下成立，在其余数据集中，它们可能正确，也可能并不正确。但在大多数状况下，XGBoost 都比另外两个算法慢。

4、优缺点

优势：

  • 性能卓越：在性能方面能够匹敌任何先进的机器学习算法；
  • 鲁棒性/强健性：它减小了对不少超参数调优的需求，并下降了过分拟合的机会，这也使得模型变得更加具备通用性；
  • 易于使用：提供与scikit集成的Python接口，以及R和命令行界面；
  • 实用：能够处理类别型、数值型特征；可扩展：支持自定义损失函数



 

参考文献：

【1】从结构到性能，一文概述XGBoost、Light GBM和CatBoost的同与不一样

【2】CatBoost vs. Light GBM vs. XGBoost

【3】Catboost学习笔记

【4】机器学习算法之Catboost

【5】github：https://github.com/catboost/catboost/tree/master/catboost/tutorials

【6】Python3机器学习实践：集成学习之CatBoost

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程