Boosting 简单介绍

前面介绍了Adaboost，知道了Adaboost是损失函数为指数函数的Boosting算法。那么Boosting还包括了如下几个：

损失函数名称	损失函数	算法
平方差（Squared error）	$\frac{1}{2}(y_i-f(x_i))^{2}$	L2 Boosting
绝对值差（Absolute error）	$\left | y_i-f(x_i) \right |$	Gradient Boosting
指数损失（Exponential loss）	$exp(-\widetilde{y_i}f(x_i))$	Adaboost
对数损失（Log loss）	$log(1+exp(-\widetilde{y_i}f(x_i)))$	LogitBoost

其中：

$f(x)=w_0+\sum_{m=1}^{M}w_m\phi (x)$

$\widetilde{y_i}\in \{-1, +1\}$

$y_i \in \{0, +1\}$

除了Adaboost外，其他三个还没学习。写在这里以备后续了解boosting算法。