梯度下降 和反向传播推导（公式）

1、训练算法几乎都是使用梯度来使得代价函数下降，大多数都是对随机梯度下降算法的改进。 目标函数关于的梯度是目标函数上升最快的方向。那么对于最优化问题，只需要将参数沿着梯度相反的方向前进一步就可以实现目标函数的下降，这个步长又称为学习率，更新的公式如下：。梯度下降可以根据数据集的不同分为批量梯度下降、随机梯度下降和小批量梯度下降。其中，批量梯度下降是在整个训练集上计算的，如果数据集比较大，可能会面临

>>阅读原文<<