反向传播和其他微分算法

当我们使用前馈神经网络接收输入，并产生输出时，信息通过网络前向流动。输入x并提供初始信息，然后传播到每一层的隐藏单元，最终产生输出。这称之为前向传播。在训练过程中，前向传播可以持续前向直到它产生一个标量代价函数。反向传播算法，经常简称为backprop，允许来自代价函数的信息通过网络向后流动，以便计算梯度。 计算梯度的解析表达式是很直观的，但是数值化地求解这样的表达式在计算上的代价可能很大。反向传

>>阅读原文<<