什么是梯度下降？

一、说明：梯度下降的计算过程就是沿梯度（导数或偏导数）下降的方向迭代求解极小值。 二、例子：如求函数的最小值。 利用梯度下降的方法解题步骤如下： 1、求梯度，； 2、向梯度相反的方向移动 ，令 ，其中，为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。 3、循环迭代步骤2，直到的值变化到使得在两次迭代之间的差值足够小

>>阅读原文<<