关于Backpropagation在DeepLearning的一点思考

Backpropagation介绍 深度学习中，常见的CNN、RNN神经网络中，参数估计通常在经过样本批处理时，使用SGD算法更新权重W和偏置b。SGD会根据样本Loss将误差后向传播，根据chain rule链式法则计算每一层的误差，从而计算总误差关于W、b的导数，从而更新W或者b。 几个定义 神经元：这里考虑误差传播时，通常意义下的隐藏层、输出层、输入层点 神经元输入：u = 前一层输出x *

>>阅读原文<<