误差反向传播算法（BP）

优化算法基本上都是在反向传播算出梯度之后进行改进的，因为反向传播算法是一个递归形式，通过一层层的向后求出传播误差即可。 计算Loss函数的目的：**计算出当前神经网络建模出来的输出数据与理想数据之间的距离，根据反向传播算法可以不断更新网络中的参数使loss函数不断下降，使输出数据更加理想。 那么如何根据一个网络的loss来更新参数，即如何更新网络节点中的权重w和偏差b的值？ 神经网络中的参数说明：

>>阅读原文<<