梯度降低法的推导

梯度降低法是一个一阶最优化算法，一般也称为最陡降低法，要使用梯度降低法找到一个函数的局部极小值，必须向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。若是相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。python 介绍梯度降低法以前首先先介绍一下梯度。梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处

>>阅读原文<<