Python机器学习基础教程-第2章-监督学习之决策树集成

前言

本系列教程基本就是摘抄《Python机器学习基础教程》中的例子内容。

为了便于跟踪和学习，本系列教程在Github上提供了jupyter notebook 版本：

Github仓库：https://github.com/Holy-Shine/Introduciton-2-ML-with-Python-notebook

系列教程总目录
Python机器学习基础教程

引子

导入必要的包

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
import os
%matplotlib inline

集成（ensemble）是合并多个机器学习模型来构建更强大模型的方法。在机器学习文献中有许多模型都属于这一类，但已证实有两种集成模型对大量分类和回归的数据集都是有效的，两者都以决策树为基础，分别是随机森林（random forest）和梯度提高决策树（gradient boosted decision tree）。

1. 随机森林

咱们刚刚说过，决策树的一个主要缺点在于常常对训练数据过拟合。随机森林是解决这个问题的一种方法。随机森林本质上是许多决策树的集合，其中每棵树都和其余树略有不一样。随机森林背后的思想是，每棵树的预测可能都相对较好，但可能对部分数据过拟合。若是构造不少树，而且每棵树的预测都很好，但都以不一样的方式过拟合，那么咱们能够对这些树的结果取平均值来下降过拟合。既能减小过拟合又能保持树的预测能力，这能够在数学上严格证实。

为了实现这一策略，咱们须要构造许多决策树。每棵树都应该对目标值作出能够接受的预测，还应该与其余树不一样。随机森林的名字来自于将随机性添加到树的构造过程当中，以确保每棵树都各不相同。随机森林中树的随机化方法有两种：一种是经过选择用于构造树的数据点，另外一种是经过选择每次划分测试的特征。咱们来更深刻地研究这一过程。

1.1 构造随机森林

想要构造一个随机森林模型，你须要肯定用于构造的树的个数（ RandomForestRegressor 或 RandomForestClassifier 的 n_estimators 参数）。好比咱们想要构造 10 棵树。这些树在构造时彼此彻底独立，算法对每棵树进行不一样的随机选择，以确保树和树之间是有区别的。想要构造一棵树，首先要对数据进行自助采样（bootstrap sample）。也就是说，从 n_samples 个数据点中有放回地（即同同样本能够被屡次抽取）重复随机抽取一个样本，共抽取n_samples 次。这样会建立一个与原数据集大小相同的数据集，但有些数据点会缺失（大约三分之一），有些会重复。

举例说明，好比咱们想要建立列表 ['a', 'b', 'c', 'd'] 的自助采样。一种可能的自主采样是 ['b', 'd', 'd', 'c'] ，另外一种可能的采样为 ['d', 'a', 'd', 'a'] 。

接下来，基于这个新建立的数据集来构造决策树。可是，要对咱们在介绍决策树时描述的算法稍做修改。在每一个结点处，算法随机选择特征的一个子集，并对其中一个特征寻找最佳测试，而不是对每一个结点都寻找最佳测试。选择的特征个数由 max_features 参数来控制。每一个结点中特征子集的选择是相互独立的，这样树的每一个结点可使用特征的不一样子集来作出决策。

因为使用了自助采样，随机森林中构造每棵决策树的数据集都是略有不一样的。因为每一个结点的特征选择，每棵树中的每次划分都是基于特征的不一样子集。这两种方法共同保证随机森林中全部树都不相同。

在这个过程当中的一个关键参数是 max_features 。若是咱们设置 max_features 等于n_features ，那么每次划分都要考虑数据集的全部特征，在特征选择的过程当中没有添加随机性（不过自助采样依然存在随机性）。若是设置 max_features 等于 1 ，那么在划分时将没法选择对哪一个特征进行测试，只能对随机选择的某个特征搜索不一样的阈值。所以，若是 max_features 较大，那么随机森林中的树将会十分类似，利用最独特的特征能够轻松拟合数据。若是 max_features 较小，那么随机森林中的树将会差别很大，为了很好地拟合数据，每棵树的深度都要很大。

想要利用随机森林进行预测，算法首先对森林中的每棵树进行预测。对于回归问题，咱们能够对这些结果取平均值做为最终预测。对于分类问题，则用到了“软投票”（soft voting）策略。也就是说，每一个算法作出“软”预测，给出每一个可能的输出标签的几率。对全部树的预测几率取平均值，而后将几率最大的类别做为预测结果。

1.2 分析随机森林

下面将由 5 棵树组成的随机森林应用到前面研究过的 two_moons 数据集上：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split

X,y = make_moons(n_samples=100, noise=0.25, random_state=3)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)

forest = RandomForestClassifier(n_estimators=5, random_state=2)
forest.fit(X_train, y_train)

做为随机森林的一部分，树被保存在 estimator_ 属性中。咱们将每棵树学到的决策边界可视化，也将它们的总预测（即整个森林作出的预测）可视化（图 2-33）：

fig, axes = plt.subplots(2, 3, figsize=(20,10))
for i, (ax, tree) in enumerate(zip(axes.ravel(), forest.estimators_)):
    ax.set_title("Tree {}".format(i))
    mglearn.plots.plot_tree_partition(X_train, y_train, tree, ax=ax)
mglearn.plots.plot_2d_separator(forest, X_train, fill=True, ax=axes[-1,-1], alpha=.4)
axes[-1,-1].set_title("Random Forest")
mglearn.discrete_scatter(X_train[:, 0], X_train[:, 1], y_train)

图 2-33：5 棵随机化的决策树找到的决策边界，以及将它们的预测几率取平均后获得的决策边界

你能够清楚地看到，这 5 棵树学到的决策边界大不相同。每棵树都犯了一些错误，由于这里画出的一些训练点实际上并无包含在这些树的训练集中，缘由在于自助采样。

随机森林比单独每一棵树的过拟合都要小，给出的决策边界也更符合直觉。在任何实际应用中，咱们会用到更多棵树（一般是几百或上千），从而获得更平滑的边界。

再举一个例子，咱们将包含 100 棵树的随机森林应用在乳腺癌数据集上：

from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()

X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=0)
forest = RandomForestClassifier(n_estimators=100, random_state=0)
forest.fit(X_train, y_train)

print("Accuracy on training set: {:.3f}".format(forest.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(forest.score(X_test, y_test)))

[out]：

Accuracy on training set: 1.000
Accuracy on test set: 0.972

在没有调节任何参数的状况下，随机森林的精度为 97%，比线性模型或单棵决策树都要好。咱们能够调节 max_features 参数，或者像单棵决策树那样进行预剪枝。可是，随机森林的默认参数一般就已经能够给出很好的结果。

与决策树相似，随机森林也能够给出特征重要性，计算方法是将森林中全部树的特征重要性求和并取平均。通常来讲，随机森林给出的特征重要性要比单棵树给出的更为可靠。参见图 2-34。

def plot_feature_importance_cancer(model):
    n_features = cancer.data.shape[1]
    plt.barh(range(n_features), model.feature_importances_, align='center')
    plt.yticks(np.arange(n_features), cancer.feature_names)
    plt.xlabel("Feature importance")
    plt.ylabel("Feature")

plot_feature_importance_cancer(forest)

图 2-34：拟合乳腺癌数据集获得的随机森林的特征重要性

如你所见，与单棵树相比，随机森林中有更多特征的重要性不为零。与单棵决策树相似，随机森林也给了“worst radius”（最大半径）特征很大的重要性，但从整体来看，它实际上却选择“worst perimeter”（最大周长）做为信息量最大的特征。因为构造随机森林过程当中的随机性，算法须要考虑多种可能的解释，结果就是随机森林比单棵树更能从整体把握数据的特征。

1.3 优势、缺点和参数。

用于回归和分类的随机森林是目前应用最普遍的机器学习方法之一。这种方法很是强大，一般不须要反复调节参数就能够给出很好的结果，也不须要对数据进
行缩放。

从本质上看，随机森林拥有决策树的全部优势，同时弥补了决策树的一些缺陷。仍然使用决策树的一个缘由是须要决策过程的紧凑表示。基本上不可能对几十棵甚至上百棵树作出详细解释，随机森林中树的深度每每比决策树还要大（由于用到了特征子集）。所以，若是你须要以可视化的方式向非专家总结预测过程，那么选择单棵决策树可能更好。虽然在大型数据集上构建随机森林可能比较费时间，但在一台计算机的多个 CPU 内核上并行计算也很容易。若是你用的是多核处理器（几乎全部的现代化计算机都是），你能够用 n_jobs 参数来调节使用的内核个数。使用更多的 CPU 内核，可让速度线性增长（使用 2 个内核，随机森林的训练速度会加倍），但设置 n_jobs 大于内核个数是没有用的。你能够设置 n_jobs=-1 来使用计算机的全部内核。

你应该记住，随机森林本质上是随机的，设置不一样的随机状态（或者不设置 random_state参数）能够完全改变构建的模型。森林中的树越多，它对随机状态选择的鲁棒性就越好。若是你但愿结果能够重现，固定 random_state 是很重要的。

对于维度很是高的稀疏数据（好比文本数据），随机森林的表现每每不是很好。对于这种数据，使用线性模型可能更合适。即便是很是大的数据集，随机森林的表现一般也很好，训练过程很容易并行在功能强大的计算机的多个 CPU 内核上。不过，随机森林须要更大的内存，训练和预测的速度也比线性模型要慢。对一个应用来讲，若是时间和内存很重要的话，那么换用线性模型可能更为明智。

须要调节的重要参数有 n_estimators 和 max_features ，可能还包括预剪枝选项（如 max_depth ）。 n_estimators 老是越大越好。对更多的树取平都可以下降过拟合，从而获得鲁棒性更好的集成。不过收益是递减的，并且树越多须要的内存也越多，训练时间也越长。经常使用的经验法则就是“在你的时间 / 内存容许的状况下尽可能多”。

前面说过， max_features 决定每棵树的随机性大小，较小的 max_features 能够下降过拟合。通常来讲，好的经验就是使用默认值：对于分类，默认值是 max_features=sqrt(n_features) ；对于回归，默认值是 max_features=n_features 。增大 max_features 或 max_leaf_nodes 有时也能够提升性能。它还能够大大下降用于训练和预测的时间和空间要求。

2. 梯度提高回归树（梯度提高机）

梯度提高回归树是另外一种集成方法，经过合并多个决策树来构建一个更为强大的模型。虽然名字中含有“回归”，但这个模型既能够用于回归也能够用于分类。与随机森林方法不一样，梯度提高采用连续的方式构造树，每棵树都试图纠正前一棵树的错误。默认状况下，梯度提高回归树中没有随机化，而是用到了强预剪枝。梯度提高树一般使用深度很小（1 到 5 之间）的树，这样模型占用的内存更少，预测速度也更快。

梯度提高背后的主要思想是合并许多简单的模型（在这个语境中叫做弱学习器），好比深度较小的树。每棵树只能对部分数据作出好的预测，所以，添加的树愈来愈多，能够不断迭代提升性能。

梯度提高树常常是机器学习竞赛的优胜者，而且普遍应用于业界。与随机森林相比，它一般对参数设置更为敏感，但若是参数设置正确的话，模型精度更高。

除了预剪枝与集成中树的数量以外，梯度提高的另外一个重要参数是 learning_rate （学习率），用于控制每棵树纠正前一棵树的错误的强度。较高的学习率意味着每棵树均可以作出较强的修正，这样模型更为复杂。经过增大 n_estimators 来向集成中添加更多树，也能够增长模型复杂度，由于模型有更多机会纠正训练集上的错误。

下面是在乳腺癌数据集上应用 GradientBoostingClassifier 的示例。默认使用 100 棵树，最大深度是 3，学习率为 0.1：

from sklearn.ensemble import GradientBoostingClassifier

X_trian, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=0)

gbrt = GradientBoostingClassifier(random_state=0)
gbrt.fit(X_train, y_train)

print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))

[out]：

Accuracy on training set: 1.000
Accuracy on test set: 0.958

因为训练集精度达到 100%，因此极可能存在过拟合。为了下降过拟合，咱们能够限制最大深度来增强预剪枝，也能够下降学习率：

gbrt = GradientBoostingClassifier(random_state=0, max_depth=1)
gbrt.fit(X_train,y_train)

print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))

[out]：

Accuracy on training set: 0.991
Accuracy on test set: 0.972

gbrt = GradientBoostingClassifier(random_state=0, learning_rate=0.01)
gbrt.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))

[out]：

Accuracy on training set: 0.988
Accuracy on test set: 0.965

下降模型复杂度的两种方法都下降了训练集精度，这和预期相同。在这个例子中，减少树的最大深度显著提高了模型性能，而下降学习率仅稍稍提升了泛化性能。

对于其余基于决策树的模型，咱们也能够将特征重要性可视化，以便更好地理解模型（图 2-35）。因为咱们用到了 100 棵树，因此即便全部树的深度都是 1，查看全部树也是不现实的：

gbrt = GradientBoostingClassifier(random_state=0, max_depth=1)
gbrt.fit(X_train, y_train)
plot_feature_importance_cancer(gbrt)

图 2-35：用于拟合乳腺癌数据集的梯度提高分类器给出的特征重要性

能够看到，梯度提高树的特征重要性与随机森林的特征重要性有些相似，不过梯度提高彻底忽略了某些特征。

因为梯度提高和随机森林两种方法在相似的数据上表现得都很好，所以一种经常使用的方法就是先尝试随机森林，它的鲁棒性很好。若是随机森林效果很好，但预测时间太长，或者机器学习模型精度小数点后第二位的提升也很重要，那么切换成梯度提高一般会有用。

若是你想要将梯度提高应用在大规模问题上，能够研究一下 xgboost 包及其 Python 接口，在写做本书时，这个库在许多数据集上的速度都比 scikit-learn 对梯度提高的实现要快（有时调参也更简单）。

2.1 优势、缺点和参数。

梯度提高决策树是监督学习中最强大也最经常使用的模型之一。其主要缺点是须要仔细调参，并且训练时间可能会比较长。与其余基于树的模型相似，这一算法不须要对数据进行缩放就能够表现得很好，并且也适用于二元特征与连续特征同时存在的数据集。与其余基于树的模型相同，它也一般不适用于高维稀疏数据。（1是训练时间慢，2是特征选择会浪费大量的有效特征）

梯度提高树模型的主要参数包括树的数量 n_estimators 和学习率 learning_rate ，后者用于控制每棵树对前一棵树的错误的纠正强度。这两个参数高度相关，由于 learning_rate 越低，就须要更多的树来构建具备类似复杂度的模型。随机森林的 n_estimators 值老是越大越好，但梯度提高不一样，增大 n_estimators 会致使模型更加复杂，进而可能致使过拟合。一般的作法是根据时间和内存的预算选择合适的 n_estimators ，而后对不一样的learning_rate 进行遍历。

另外一个重要参数是 max_depth （或 max_leaf_nodes ），用于下降每棵树的复杂度。梯度提高模型的 max_depth 一般都设置得很小，通常不超过 5。