机器学习之梯度下降法

1     梯度的定义        梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。        在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。  （注意：梯度是一个向量）     梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向；在

>>阅读原文<<