梯度下降法 Gradient descent

经常听到梯度下降法，只知道它是用于优化求解问题。即 沿着梯度的反方向（坡度最陡的方向）进行权值更新。为什么局部梯度下降最快的方向就是梯度的负方向呢？ 梯度 梯度就是表示某一个函数在当前位置的导数。 为自变量，为关于的函数； 为梯度 如果函数为凸函数，那么就可以根据梯度下降算法进行优化，求得使最小的参数；  为当前下山的位置，为下山移动一小步之后的位置，为学习因子，即步长。 梯度更新公式的推导——一

>>阅读原文<<