AdaBoost算法原理详细总结

        在集成学习方法之Bagging，Boosting，Stacking篇章中，我们谈论boosting框架的原理，在boosting系列算法中，AdaBoost是著名的算法之一。AdaBoost是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。
        今天我们就来探讨下AdaBoost分类算法的原理，本篇我们先介绍AdaBoost算法；然后通过误差分析探讨AdaBoost为什么能提升模型的学习精度；并且从前向分步加法模型角度解释AdaBoost；最后对AdaBoost的算法优缺点进行一个总结。

1）从boosting到AdaBoost算法

        集成原理中，我们提到的boosting框架的思想是选择同质的基分类器，让基分类器之间按照顺序进行训练，并让每个基分类器都尝试去修正前面的分类。既然这样，怎样才能让同质的基分类器能够修正前面的分类？或者说怎样才能让同质的基分类器之间保持“互助”呢？
       AdaBoost的做法是，让前一个基分类器 $f_{t-1}(x)$ft−1​(x)在当前基分类器 $f_t(x)$ft​(x)的训练集上的效果很差（和我们随机瞎猜一样），这样 $f_t(x)$ft​(x)就能修正 $f_{t-1}(x)$ft−1​(x)的分类误差， $f_t(x)$ft​(x)和 $f_{t-1}(x)$ft−1​(x)之间也就产生了“互助”。
       AdaBoost的具体做法是，通过提高被前一轮基分类器 $f_{t-1}(x)$ft−1​(x)分类错误的样本的权值，降低被正确分类样本的权值，使得上一个基分类器 $f_{t-1}(x)$ft−1​(x)在更新权值后的训练集上的错误率 $\epsilon_{t-1}$ϵt−1​增大到0.5。（再在更新权值后的训练集上训练基分类器 $f_t(x)$ft​(x)，那 $f_t(x)$ft​(x)必能和 $f_{t-1}(x)$ft−1​(x)产生互助。）

2）AdaBoost算法

       下面我们在二分类问题上介绍AdaBoost算法。假如给定训练数据集 $T=\left\{ (x^i,y^i) \right\}^n_{i=1}$T={(xi,yi)}i=1n​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}
样本权值为 $w_i^n$win​，误差率 $\epsilon_i$ϵi​。在训练数据集 $T$T上训练第一个基分类器 $f_1(x)$f1​(x)，其错误率为 $\epsilon_1，\epsilon_1 < 0.5$ϵ1​，ϵ1​<0.5（起码比瞎猜要好一些）
$\epsilon_1=\frac{\sum_nw_1^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_1} \qquad Z_1 = \sum_nw_1^n$ϵ1​=Z1​∑n​w1n​δ((f1​(xn)​=y^​n)​Z1​=n∑​w1n​
        更新样本的权值（权值为 $w_2^n$w2n​）后的训练集为 ${T}'$T′，使得 $f_1(x)$f1​(x)在 ${T}'$T′分类效果等同于随机瞎猜（ $\epsilon=0.5$ϵ=0.5）。用数学语言表示即为
$\frac{\sum_nw_2^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_2}=0.5 \qquad Z_2 = \sum_nw_2^n$Z2​∑n​w2n​δ((f1​(xn)​=y^​n)​=0.5Z2​=n∑​w2n​
        那么样本权重如何更新呢？AdaBoost具体做法是，减小 $f_1(x)$f1​(x)分类正确的样本的权值，权值除以一个常数 $d$d，即 $\frac{w_1^n}{d_1}$d1​w1n​​；增大 $f_1(x)$f1​(x)分类错误的样本的权值，权值乘以一个常数 $d$d，即 $w_1^nd_1$w1n​d1​。用数学语言表示即为
$\begin{cases} w_2^n = w_1^nd_1 \qquad if \ f_1(x^n)\neq {\hat y}^n)\\ w_2^n = \frac{w_1^n}{d_1} \qquad if \ f_1(x^n)= {\hat y}^n)\\ \end{cases}${w2n​=w1n​d1​if f1​(xn)​=y^​n)w2n​=d1​w1n​​if f1​(xn)=y^​n)​
        下面我们再回到下式中来，

$\frac{\sum_nw_2^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_2}=0.5$Z2​∑n​w2n​δ((f1​(xn)​=y^​n)​=0.5

其中， $Z_2=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1+\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}$Z2​=∑f1​(xn)​=y^​n​w1n​d1​+∑f1​(xn)=y^​n​d1​w1n​​；当 $f_1(x^n)\neq {\hat y}^n$f1​(xn)​=y^​n时， $w_2^n = w_1^nd_1$w2n​=w1n​d1​。
        将上面两式带入得：

$\frac{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1}{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1+\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}}=0.5$∑f1​(xn)​=y^​n​w1n​d1​+∑f1​(xn)=y^​n​d1​w1n​​∑f1​(xn)​=y^​n​w1n​d1​​=0.5

$\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1$f1​(xn)=y^​n∑​d1​w1n​​=f1​(xn)​=y^​n∑​w1n​d1​

又因为 $\epsilon_1=\frac{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n}{Z_1}\Rightarrow \epsilon_1Z_1=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n$ϵ1​=Z1​∑f1​(xn)​=y^​n​w1n​​⇒ϵ1​Z1​=f1​(xn)​=y^​n∑​w1n​
$1-\epsilon_1=\frac{\sum_{f_1(x^n)= {\hat y}^n} w_1^n}{Z_1}\Rightarrow (1-\epsilon_1)Z_1=\sum_{f_1(x^n)= {\hat y}^n} w_1^n$1−ϵ1​=Z1​∑f1​(xn)=y^​n​w1n​​⇒(1−ϵ1​)Z1​=f1​(xn)=y^​n∑​w1n​
因此，
$\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1$f1​(xn)=y^​n∑​d1​w1n​​=f1​(xn)​=y^​n∑​w1n​d1​
$\frac{1}{d_1}\sum_{f_1(x^n)= {\hat y}^n} {w_1^n}=d_1\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n$d1​1​f1​(xn)=y^​n∑​w1n​=d1​f1​(xn)​=y^​n∑​w1n​
$\frac{1}{d_1}(1-\epsilon_1)Z_1=d_1\epsilon_1Z_1$d1​1​(1−ϵ1​)Z1​=d1​ϵ1​Z1​
$d_1=\sqrt{\frac{1-\epsilon_1 }{\epsilon_1}}$d1​=ϵ1​1−ϵ1​​ ​
其中 $d_1>1$d1​>1（因为 $\epsilon_1<0.5$ϵ1​<0.5）。
        因此AdaBoost每次更新权值表达式为：
$\begin{cases} w_{t+1}^n = w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})) \qquad if \ f_t(x^n)\neq {\hat y}^n)\\ w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})) \qquad if \ f_t(x^n)= {\hat y}^n)\\ \end{cases}$⎩⎪⎨⎪⎧​wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(Ln(ϵt​1−ϵt​​ ​))if ft​(xn)​=y^​n)wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−Ln(ϵt​1−ϵt​​ ​))if ft​(xn)=y^​n)​
令 $\alpha_t= Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)， $\alpha_t$αt​即为基分类器 $f_t(x)$ft​(x)的权重系数。当 $\epsilon_t =0.1$ϵt​=0.1时， $\alpha_t=1.1$αt​=1.1，当 $\epsilon_t =0.4$ϵt​=0.4时， $\alpha_t=0.2$αt​=0.2。这表明，当基分类器分类误差率越小时，基分类器的权重越大，在最终表决时起的作用也越大；当基分类器分类误差率越大时，基分类器的权重越小，在最终表决时起的作用也越小。将 $\alpha_t$αt​带入上式，样本权值更新表达式变成：
$\begin{cases} w_{t+1}^n = w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(\alpha_t) \qquad if \ f_t(x^n)\neq {\hat y}^n)\\ w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-\alpha_t) \qquad if \ f_t(x^n)= {\hat y}^n)\\ \end{cases}$⎩⎨⎧​wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(αt​)if ft​(xn)​=y^​n)wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−αt​)if ft​(xn)=y^​n)​
为了方便表示，将上式两项合并成一项得，权值更新的表达式为：
$w_{t+1}^n =w_t^nexp(-{\hat y}^nf_t(x^n)\alpha_t)$wt+1n​=wtn​exp(−y^​nft​(xn)αt​)
当 $f_t(x^n)= {\hat y}^n$ft​(xn)=y^​n时， ${\hat y}^nf_t(x^n)$y^​nft​(xn)为+1，当 $\ f_t(x^n)\neq {\hat y}^n$ ft​(xn)​=y^​n时， ${\hat y}^nf_t(x^n)$y^​nft​(xn)为-1，以上两式为等价变换。
       以上就是AdaBoost算法如何做样本权值更新的整个推导过程。

       
       下面对二元分类AdaBoost算法流程进行总结：
       输入：训练数据集 $T=\left\{ (x^i,y^i) \right\}^N_{i=1}$T={(xi,yi)}i=1N​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}
       输出：最终的分类器 $H(x)$H(x)
①初始化训练数据的权值（权值相等）
$w_1^n=1$w1n​=1
② $for \ t=1...T:$for t=1...T:

• 在权值为 $\left\{ w_t^1,w_t^2...w_t^N\right\}${wt1​,wt2​...wtN​}的训练机上训练基分类器 $f_t(x)$ft​(x)

• 计算 $f_t(x)$ft​(x)在训练数据集上的分类误差率 $\epsilon_t$ϵt​ $\epsilon_t=P(f_t(x^n\neq {\hat y}^n))=\sum_nw_t^n\delta (f_t(x^n\neq {\hat y}^n))$ϵt​=P(ft​(xn​=y^​n))=n∑​wtn​δ(ft​(xn​=y^​n))

• 计算 $f_t(x)$ft​(x)的权值系数
  $\alpha_t= Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)

• $for \ n=1,2....N:$for n=1,2....N:
          $if \ x^n 被f_t(x)分类错误：$if xn被ft​(x)分类错误：
                  $w_{t+1}^n= w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(\alpha_t)$wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(αt​)
          $else \ x^n$else xn 被 $f_t(x)$ft​(x)分类正确：
                  $w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-\alpha_t)$wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−αt​)
  ③构建基分类器线性组合
  $f(x)=\sum_T\alpha_tf_t(x)$f(x)=T∑​αt​ft​(x)
  得到最终的分类器 $H(x)$H(x)
  $H(x)=sign(\sum_T\alpha_tf_t(x))$H(x)=sign(T∑​αt​ft​(x))

3）AdaBoost的训练误差分析

       AdaBoost最基本的性质是它能在学习的过程中不断减少训练误差，且训练误差以指数速率下降，且无限逼近于0。具体的数学表达式为：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
$\frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}=\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​=t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
其中， $\gamma_t=\frac{1}{2}-\epsilon _t$γt​=21​−ϵt​。

       下面我们就AdaBoost做二元分类的情况，对这一结论分步进行证明。证明过程会涉及较多的数学公式的推导，对证明不感兴趣的小伙伴可以直接跳到第5部分AdaBoost算法总结。
       首先我们证明：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}exp(-\hat y^n g(x))$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​exp(−y^​ng(x))

       从上一部分内容可知，训练数据集 $T=\left\{ (x^i,y^i) \right\}^n_{i=1}$T={(xi,yi)}i=1n​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}，最终的分类器 $H(x),\alpha_t$H(x),αt​的表达式为
$H(x)=sign(\sum_{t=1}^T\alpha_tf_t(x)) \qquad \alpha_t = Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$H(x)=sign(t=1∑T​αt​ft​(x))αt​=Ln(ϵt​1−ϵt​​ ​)
       分类器 $H(x)$H(x)的分类误差率为 $Error Rate$ErrorRate等于分类错误的样本所占总样本的比例，用数学语言表达即为，
$Error Rate=\frac{1}{N}\sum \delta (H(x^n)\neq (\hat y)^n)$ErrorRate=N1​∑δ(H(xn)​=(y^​)n)
其中， $H(x^n)\neq (\hat y)^n$H(xn)​=(y^​)n表示模型的预测值和真实值异号，因此，
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n \sum_{t=1}^T\alpha_tf_t(x)<0)$ErrorRate=N1​∑δ(y^​nt=1∑T​αt​ft​(x)<0)
令 $g(x)=\sum_{t=1}^T\alpha_tf_t(x)$g(x)=∑t=1T​αt​ft​(x)，因此，
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)$ErrorRate=N1​∑δ(y^​ng(x)<0)
下面我们开始证明：
$Error Rate =\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}exp(-\hat y^n g(x))$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​exp(−y^​ng(x))
其中 $\delta (\hat y^n g(x)<0)$δ(y^​ng(x)<0)为01损失函数， $exp(-\hat y^n g(x))$exp(−y^​ng(x))为指数损失函数。画出函数图像很容易发现上式不等式成立：
       下面我们证明
$Error Rate\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
       已知 $g(x)=\sum_{t=1}^T\alpha_tf_t(x)$g(x)=∑t=1T​αt​ft​(x)（上面我们定义的等式）。且 $Z_{t+1}$Zt+1​为基分类器 $f_{t+1}(x)$ft+1​(x)所有训练样本的权重之和，用数学语言表示，
        $Z_{t+1}=\sum _nw_{T+1}^n$Zt+1​=∑n​wT+1n​

                $=\sum _nw_{T}^nexp(-\hat y^nf_t(x^n)\alpha_t)$=∑n​wTn​exp(−y^​nft​(xn)αt​)（权值更新公式）
                $=\sum _n\prod _{t=1}^Texp(-\hat y^nf_t(x^n)\alpha_t)$=∑n​∏t=1T​exp(−y^​nft​(xn)αt​)
                $=\sum _nexp(-\hat y^n\sum _{t=1}^Tf_t(x^n)\alpha_t)$=∑n​exp(−y^​n∑t=1T​ft​(xn)αt​)（连乘符号 $\prod$∏，放到指数 $exp$exp中变成求和 $\sum$∑）
                $=\sum _nexp(-\hat y^ng(x^n))$=∑n​exp(−y^​ng(xn))
       因此， $Error Rate\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
       已知 $\alpha_t = Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)，下面我们证明
$Error Rate\leq \frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$ErrorRate≤N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​
        $Z_{t+1}$Zt+1​为基分类器 $f_{t+1}(x)$ft+1​(x)所有训练样本的权重之和，它是由上一轮权值 $Z_{t}$Zt​更新而来的，被分类错误的样本权值增大，被分类正确的样本权值减小。
       且 $Z_1=N$Z1​=N，因此，

        $Z_{T+1}=Z_t \epsilon _{t}exp(\alpha _{t})+Z_t(1-\epsilon _{t})exp(-\alpha _{t})$ZT+1​=Zt​ϵt​exp(αt​)+Zt​(1−ϵt​)exp(−αt​)
                       $=Z_t \epsilon _{t}\sqrt{\frac{1-\epsilon _{t}}{\epsilon _{t}}}+Z_t(1-\epsilon _{t})\sqrt{\frac{\epsilon _{t}}{1-\epsilon _{t}}}$=Zt​ϵt​ϵt​1−ϵt​​ ​+Zt​(1−ϵt​)1−ϵt​ϵt​​ ​
                       $=2Z_t\sqrt{\epsilon _{t}(1-\epsilon _{t})}$=2Zt​ϵt​(1−ϵt​) ​
                       $=N\prod _{t=1}^T2\sqrt{\epsilon _{t}(1-\epsilon _{t})}$=N∏t=1T​2ϵt​(1−ϵt​) ​
       因此，
$Error Rate\leq \frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$ErrorRate≤N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​
       由于 $\epsilon _t<0.5$ϵt​<0.5，因此 $2\sqrt{\epsilon _t(1-\epsilon _t)}\leq 1$2ϵt​(1−ϵt​) ​≤1，所以AdaBoost的分类误差率是不断的再减小的。
       下面我们证明
$\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}=\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$t=1∏T​2ϵt​(1−ϵt​) ​=t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
        $\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$∏t=1T​2ϵt​(1−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{(\frac{1}{2}-(\frac{1}{2}-\epsilon _t))(\frac{1}{2}+\frac{1}{2}-\epsilon _t)}$=∏t=1T​2(21​−(21​−ϵt​))(21​+21​−ϵt​) ​
令 $\gamma_t=\frac{1}{2}-\epsilon _t$γt​=21​−ϵt​， $\gamma_t >0$γt​>0得，
        $\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$∏t=1T​2ϵt​(1−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{(\frac{1}{2}-(\frac{1}{2}-\epsilon _t))(\frac{1}{2}+\frac{1}{2}-\epsilon _t)}$=∏t=1T​2(21​−(21​−ϵt​))(21​+21​−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{\frac{1}{4}-\gamma _t^2}$=∏t=1T​241​−γt2​ ​
        $=\prod _{t=1}^T\sqrt{1-4\gamma _t^2}$=∏t=1T​1−4γt2​ ​
       最后我们证明，
$\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
       首先我们构造一个函数 $f(x)=e^{-x}+x-1$f(x)=e−x+x−1，由于 $f''(x)=e^{-x}>0$f′′(x)=e−x>0，因此 $f(x)$f(x)为凸函数，且 $minf(x)=f(0)=0$minf(x)=f(0)=0，所以 $f(x) \geq 0$f(x)≥0。下面我们进入正式证明：
        $f(x)=e^{-x}+x-1 \geq 0$f(x)=e−x+x−1≥0
        $\Rightarrow e^{-x}\geq 1-x$⇒e−x≥1−x，令 $x=4\gamma^2$x=4γ2，得
        $\Rightarrow e^{-4\gamma^2}\geq 1-4\gamma^2$⇒e−4γ2≥1−4γ2
        $\Rightarrow e^{-2\gamma^2}\geq \sqrt{1-4\gamma^2}$⇒e−2γ2≥1−4γ2 ​
因此对于 $t=1,2...T$t=1,2...T，都有 $\begin{cases} e^{-2\gamma_1^2}\geq \sqrt{1-4\gamma_1^2}\\ e^{-2\gamma_2^2}\geq \sqrt{1-4\gamma_2^2}\\ ...\\ e^{-2\gamma_t^2}\geq \sqrt{1-4\gamma_t^2}\\ \end{cases}$⎩⎪⎪⎪⎨⎪⎪⎪⎧​e−2γ12​≥1−4γ12​ ​e−2γ22​≥1−4γ22​ ​...e−2γt2​≥1−4γt2​ ​​
       将上式连乘得：
$\Rightarrow\prod _{t=1}^Texp(-2\gamma_t^2) \geq \prod _{t=1}^T \sqrt{1-4\gamma_t^2}$⇒t=1∏T​exp(−2γt2​)≥t=1∏T​1−4γt2​ ​
        $\Rightarrow\prod _{t=1}^T \sqrt{1-4\gamma_t^2}\leq \prod _{t=1}^Texp(-2\gamma_t^2)$⇒t=1∏T​1−4γt2​ ​≤t=1∏T​exp(−2γt2​)
        $\Rightarrow \prod _{t=1}^T \sqrt{1-4\gamma_t^2}\leq exp(-2\sum _{t=1}^T\gamma_t^2)$⇒t=1∏T​1−4γt2​ ​≤exp(−2t=1∑T​γt2​)

       因此，证明得到下式成立：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq exp(-2\sum _{t=1}^T\gamma_t^2)$ErrorRate=N1​∑δ(y^​ng(x)<0)≤exp(−2t=1∑T​γt2​)
       上不等式表明，AdaBoost的训练误差是以指数速率下降且无限逼近于0。（ $\gamma >0,-2\sum _{t=1}^T\gamma_t^2<0$γ>0,−2∑t=1T​γt2​<0，小于0的数求指数小于1，小于1的数无限连乘，将无限逼近与0）

4）前向分步加法模型解释AdaBoost

       AdaBoost的另外一种解释，认为AdaBoost是加法模型、损失函数为指数函数、学习算法为前向分步算法的分类学习算法。
       加法模型比较好理解，最终的分类器是有若干个基分类器加权平均得到。即
$H(x)=\sum_T\alpha_tf_t(x)$H(x)=T∑​αt​ft​(x)
其中， $f_t(x)$ft​(x)为基分类器， $\alpha_t$αt​为基分类器的权值。
       前向分步学习算法，即利用前一个基分类器的结果更新后一个基分类器的训练权重。
       假定第 $t-1$t−1轮后分类器为：
$g_{t-1}(x)= \sum_{t=1}^{t-1}\alpha_tf_t(x)$gt−1​(x)=t=1∑t−1​αt​ft​(x)
       而第 $t$t轮后分类器为为：
$g_{t}(x)= \sum_{t=1}^{t}\alpha_tf_t(x)$gt​(x)=t=1∑t​αt​ft​(x)
       有上两式可以得：
$g_t(x)=g_{t-1}(x)+\alpha_tf_t(x)$gt​(x)=gt−1​(x)+αt​ft​(x)
       因此，最终的分类器是通过前向学习算法得到的。
       AdaBoost的损失函数为，
$\underbrace{argmin}_{\alpha,f}\sum_nexp(-\hat y^n g_t(x))$α,f argmin​​n∑​exp(−y^​ngt​(x))
       利用前向分步学习算法可以得到损失函数为：
$(\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_nexp(-\hat y^n (g_{t-1}(x)+\alpha_tf_t(x))$(αt​,ft​(x))=α,f argmin​​n∑​exp(−y^​n(gn∑​exp(−y^​n(gt−1​(x)+αt​ft​(x))
       令 $w'^n_t=exp(-\hat y^n g_{t-1}(x))$wt′n​=exp(−y^​ngt−1​(x))，它的值不依赖 $\alpha_t,f_t(x)$αt​,ft​(x)，因此与最小化无关，仅仅依赖于 $g_{t-1}(x)$gt−1​(x)，随着每一轮迭代而改变。将上式子代入损失函数，得
$(\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_n w'^n_texp(-\hat y \alpha_tf_t(x))$(αt​,f, f t ( x ) ) = a r g m i n ⏟ α , f ∑ n w t ′ n e x p ( − y ^ α t f t ( x ) ) (\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_n w'^n_texp(-\hat y \alpha_tf_t(x)) (αt​,ft​(x))=α,f argmin​​n∑​wt′n​exp(−y^​αt​ft​(x))
       我们先求 $f^*_t(x)$ft∗​(x)，对于任意的 $\alpha_t>0$αt​( x ) f^*_t(x) ft