AdaBoost详解

本博客内容摘自李航老师的《统计学习方法》，加以一些整理。

相关概念

  提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

  对于分类问题而言，给定一个训练集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。提升(booting)方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布(训练数据的权值分布)，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

  所以对于提升方法而言，有两个问题需要解决：一是在每一轮如何改变训练数据的权值或者概率分布；二是如何将弱分类器组合成一个强分类器。

  对于第一个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分类器的更大关注。于是，分类问题被一系列的弱分类器”分而治之”。

  对于第二个问题，即弱分类器的组合，AdaBoost采取加权多数表决的方法。具体地，加大分类错误率小的弱分类器的权重，使其在表决中起较大的作用，减少分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

AdaBoost算法

  假定给定一个二分类的训练数据集：

T={(x1,y1),(x2,y2),...,(xN,yN)} $$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

其中，每个样本点由实力和标记组成。实例 xi∈X⊆Rn $x_i\in X\subseteq R^n$(表示实数),标记 yi∈Y={−1,+1} $y_i\in Y=\{-1,+1\}$,即有两种标签的数据，用 {−1,+1} $\{-1,+1\}$来表示这两种类别; X $X$是实例空间， Y $Y$是标记集合。AdaBoost算法利用以下算法，从训练数据中学习一系列弱分类器或基本分类器，并将这些弱分类器线性组合成一个强分类器。

AdaBoost描述:
  输入:训练数据集 T={(x1,y1),(x2,y2),...,(xN,yN)} $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中 xi∈X⊆Rn,yi∈Y={−1,+1} $x_i\in X\subseteq R^n,y_i\in Y=\{-1,+1\}$;得到弱学习算法;
  输出:最终分类器 G(x) $G(x)$

算法步骤:

(1)初始化训练数据的权值分布

D1=(w11,...,w1i,...,w1N),w1i=1N,i=1,2,...,N(2.1) $$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N(2.1)$$

D是用来描述各样本的权值分布的。

(2)对 m=1,2,...,M $m=1,2,...,M$， m $m$表示迭代的次数
  (a)使用具有权值分布 Dm $D_m$的训练数据集学习，得到基本分类器:

Gm(x):X⟶{−1,+1} $$G_m(x):X⟶\{-1,+1\}$$

   (b)计算 Gm $G_m$在训练数据集上的分类误差率

em=P(Gm(xi)≠yi)=∑i=1NwmiI(Gm≠yi)(2.2) $$e_m=P(G_m(x_i)\ne y_i)=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}I(G_m\ne y_i)(2.2)$$

其中 I(Gm≠yi)={0,1} $I(G_m\ne y_i)=\{0,1\}$，当分类正确时，等于0;分类错误时，等于1; Gm(xi) $G_m(x_i)$表示第 m $m$轮得到的弱分类器 Gm $G_m$对第 i $i$个样本 xi $x_i$的分类结果， yi $y_i$表示第 i $i$个样本的真实类别。 注意计算误差率是用到了权重分布 D $D$中的 wm $w_m$。
   (c) 计算 Gm(x) $G_m(x)$的系数

αm=12log1−emem(2.3) $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}(2.3)$$

这里的对数是自然对数。可以发现，当错误率 em $e_m$越大时, am $a_m$越小。这个参数将会用在集成阶段。
   (d)更新训练数据集的权值分布

Dm+1=(wm+1,1,...,wm+1,i,...,wm+1,N)(2.4) $$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})(2.4)$$

wm+1,i=wmiZmexp(−αmyiGm(xi)),i=1,2,...,N(2.5) $$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...,N(2.5)$$

这里, Zm $Z_m$是规范化因子，使得总的 wm+1 $w_{m+1}$值和为1.

Zm=∑i=1Nwmiexp(−αmyiGm(xi))(2.6) $$Z_m=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))(2.6)$$

它使得 Dm+1 $D_{m+1}$成为一个概率分布。

(3)构建基本分类器的线性组合

f(x)=xi))(2.6) $$Z_m=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))(2.6)$$

它使得 Dm+1 $D_{m+1}$成为一个概率分布。

(3)构建基本分类器的线性组合

f(x)=∑m=1MαmGm $D_{m+1}$成为一个概率分布。

(3)构建基本分类器的线性组合

f(x)=∑m=1MαmGm(x)(2.7) $$f(x)=\underset{m=1}{\overset{M}{\sum }}{\alpha }_m{G}_m(x)(2.7)$$

错误率越低的弱分类器对应的 α $\alpha$值越大，使其在表决中起较大的作用。
得到最终的分类器

( x ) = ∑