[深度学习] 牛顿法

牛顿法 牛顿法是一种二阶梯度方法。与一阶梯度算法相比，二阶梯度方法使用了二阶导数进行了优化。 具体解释如下： 在函数上随便找个点，做这个点的切线，求出切线的跟（切线和x轴交点） 从这个切线的跟出发，做一条垂线与函数相交，继续方才的工作，此时我们发现B比A点更接近跟 继续进行上述操作，直到迭代收敛 公式： f ( x ) = f ( x 0 ) + f ( x 0 ) ′ ( x − x 0 ) +

>>阅读原文<<