神经网络中的前向传播和反向传播理解

前向传播 输入，输出，缓存为 前向传播的过程： 向量化的过程可以写成： 式中，就是初始的输入X。如下图的两层神经网络所示，可以很好的理解。   反向传播 反向传播主要采用数学上的链式法则，反向传播的公式推导可以总结为4个公式。 输入，输出，， 形式转换一下，和上面的式子是等价的，步骤如下：   第5个公式由4式代入1式得到。前4个式子就可以实现反向传播。 写成向量化的形式为：   参考：[1] 吴

>>阅读原文<<