【机器学习】梯度下降算法及梯度优化算法

用于评估机器学习模型的就是损失函数，我们训练的目的基本上都是最小化损失，这个最小化的方式就要用优化算法了，机器学习中最常用的就是梯度下降算法。 导数、方向导数和梯度 要了解梯度下降算法是什么首要知道梯度是什么，导数和方向导数又是了解梯度的前提。 导数 　导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率，如果f’(x)>0，说明f(x)的函数值在x点沿x轴正方向是趋于增加的；如果f’(x)

>>阅读原文<<