标准反向传播推导手稿

神经网络反向传播算法的简单推导手稿，以便日后查阅使用。这篇文章反向传播算法推导写的非常好，一步一步推导计算反向传播，非常值得阅读。另外值得注意的几点： BP算法分类标准BP和累积BP，标准BP每次使用一个样本进行正向传播计算误差更新参数，而累积BP算法每次使用整个数据集正向传播，也就是进行m次（m为样本个数）正向传播，累积误差后反向求梯度更新参数。这两者的区别类似于随机梯度下降（stochasti

>>阅读原文<<