对xgboost原理的理解

z由于xgboost的算法和GBDT的算法是相似的，只是在对损失函数的优化上边有不同的地方， 不是指最小化损失函数的过程不同，最小化的过程都是用的随机梯度下降法，不同是在最小化之前，对损失函数的处理上边。GBDT是直接在原来的损失函数上求最小化，在进行随机梯度下降的时候运用了偏微分的一阶导，而xgboost改进的地方是在于将损失函数进行了泰勒展开，运用了泰勒二阶展开式，用到了二阶导。这是两者最大的

>>阅读原文<<