机器学习中的优化算法

优化算法 1、梯度下降法　　 梯度下降法可以说是机器学习中最常用的算法，当然在深度学习中也会使用。不过一般使用的都是梯度下降法的变体—小批量梯度下降法，因为在样本较大时使用全样本进行梯度下降时需要计算的梯度太多，导致计算量会非常大。梯度下降法是一种迭代算法，选取合适的初值$x^{(0)}$，不断的迭代更新$x$的值，进行目标函数$f(x) $的极小化，直至目标函数收敛。由于负梯度方向是使得函数值下

>>阅读原文<<