树系列（四）boosting_tree

• 模型

  采用加法模型和前向分步算法，以决策树为基函数的提升方法被称为提升树，由如下公式表示，

  fM(x)=∑m=1MT(x;θM) $$f_M(x)=\underset{m=1}{\overset{M}{\sum }}T(x;{\theta }_M)$$
  
  T(x;θM) $T(x;{\theta }_M)$表示决策树， θM ${\theta }_M$表示决策树的参数，M为树的个数，

• 回归核心思想

  上面公式采用前向分步算法的步骤如下，

  首先确定初始提升树 f0(x)=0 $f_0(x)=0$, 第m步的模型是，

  fm(x)=fm−1(x)+T(x;θm) $$f_m(x)=f_{m-1}(x)+T(x;{\theta }_m)$$

  确定下一棵决策树的参数的方法如下，

  θm^=argminθm∑i=1NL(yi,fm−1(xi)+T(xi;θm)) $$\widehat{{\theta }_m}=argmi{n}_{{\theta }_m}\underset{i=1}{\overset{N}{\sum }}L(y_i,f_{m-1}(x_i)+T(x_i;{\theta }_m))$$

  通过找到合适的参数，从而得到合适的提升树模型，而采用何种损失函数便成为提升树学习算法的核心内容，

  对于回归问题的提升树，某棵树对于某个样本 xj $x_j$的预测值如下，J为这棵树的叶子节点的个数，具体如何理解，请见决策树的解释，

  T(x;θ)=∑j=1JcjI(x∈Rj) $$T(x;\theta )=\underset{j=1}{\overset{J}{\sum }}{c}_{j}I(x\in R_j)$$
  
  每棵树构建好之后对于前向分步算法的应用如下，
  f0(x)=0 $$f_0(x)=0$$
  
  
  fm(x)=fm−1(x)+T(x;θm)m=1,2,...,M $$f_m(x)=f_{m-1}(x)+T(x;{\theta }_m)m=1,2,...,M$$
  
  
  fM(x)=∑m=1MT(x;θm) $$f_M(x)=\underset{m=1}{\overset{M}{\sum }}T(x;{\theta }_m)$$
  
  第m步中，给定 fm−1(x) $f_{m-1}(x)$,需求解如下公式得到 θm^ $\widehat{{\theta }_m}$,
  
  θm^=argminθm∑i=1NL(yi,fm−1(xi)+T(xi;θm)) $$\widehat{{\theta }_m}=argmi{n}_{{\theta }_m}\underset{i=1}{\overset{N}{\sum }}L(y_i,f_{m-1}(x_i)+T(x_i;{\theta }_m))$$
  
  如果采用平方差损失函数，
  L(y,f(x))=(y−f(x))2 $$L(y,f(x))=(y-f(x){)}^2$$
  
  其损失变为
  L(y,fm−1(x)+T(x;θm)) $$L(y,f_{m-1}(x)+T(x;{\theta }_m))$$
  
  
  =[y−fm−1(x)−T(x;θm)]2 $$=[y-f_{m-1}(x)-T(x;{\theta }_m){]}^2$$
  
  
  =[r−T(x;θm)]2 $$=[r-T(x;{\theta }_m){]}^2$$

  这里 r=y−fm−1(x) $r=y-f_{m-1}(x)$,表示模型拟合的是数据的残差，

  ---

  输入：训练数据集 T={(x1,y1),...,(xN,yN)} $T=\{(x_1,y_1),...,(x_N,y_N)\}$, xi∈X⊆Rn,yi∈Y⊆R $x_i\in X\subseteq R^n,y_i\in Y\subseteq R$,

  输出：提升树 fM(x) $f_M(x)$

  1. 初始化 f0(x)=0 $f_0(x)=0$
  2. 对于m=1,2,…,M
     
     1. 计算残差 rmi=yi−fm−1(xi),i=1,2,...,N $r_{mi}=y_i-f_{m-1}(x_i),i=1,2,...,N$
     2. 拟合残差学习回归树，得到 T(x;θm) $T(x;{\theta }_m)$
     3. 更新 fm(x)=fm−1(x)+T(x;θm) $f_m(x)=f_{m-1}(x)+T(x;{\theta }_m)$
  3. 得到提升树

  fM(x)=∑m=1MT(x;θM) $$f_M(x)=\underset{m=1}{\overset{M}{\sum }}T(x;{\theta }_M)$$

• 梯度提升

  上述算法求解的核心在于对于模型的损失函数是平方损失的，求解很简单，但是对于一般的损失函数来说，每一步的优化并不是很容易，因而把损失函数的负梯度值作为每个阶段回归的目标去拟合一棵回归树才是一个比较理想的选择，负梯度公式如下，

  rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x) $$r_{mi}=-{\left[\frac{\mathrm{\partial }L(y,f(x))}{\mathrm{\partial }f(x)}\right]}_{f(x)=f_{m-1}(x)}$$

  ---

  输入： 输入数据集 T={(x1,y1),(x2,y2),...,(xN,yN)}xi∈X⊆Rn,yi∈Y⊆R $T=\left\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\right\}{x}_i\in X\subseteq R^n,y_i\in Y\subseteq R$， 损失函数 L(y,f(x)) $L(y,f(x))$,

  输出： 回归树 f(x)^ $\widehat{f(x)}$

  1. 初始化
  f0(x)=argminc∑i=1NL(yi,c) $$f_0(x)=argmi{n}_c\underset{i=1}{\overset{N}{\sum }}L(y_i,c)$$

  1. 对于m=1,2,..,M,

     a.对于i=1,2,…,N，计算
     

     rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x) $$r_{mi}=-{\left[\frac{\mathrm{\partial }L(y,f(x))}{\mathrm{\partial }f(x)}\right]}_{f(x)=f_{m-1}(x)}$$

     使得

     rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x) $$r_{mi}=-{\left[\frac{\mathrm{\partial }L(y,f(x))}{\mathrm{\partial }f(x)}\right]}_{f(x)=f_{m-1}(x)}$$

使得