“梯度下降法”理解

在学习神经网络的时候，反向传播，通常会用到梯度下降法去更新权值使得在不断迭代的过程中使得每层网络权值不断调整直到损失函数落入最小值（局部或全局）。 梯度下降法的基本公式是： w:=w−η▽E 其中 E 为损失函数， η 为步长，下面解释上式如何理解，需要从方向导数开始讲起。 方向导数 偏导数反映的是函数研坐标轴方向的变化率，但仅考虑函数沿坐标轴方向但变化率是不够的。例如热空气要向冷空气的地方流动，

>>阅读原文<<