BP反向传播

这里简单记录一下神经网络bp反向传播的过程 首先最普通的神经网络，抛开最后输出的损失函数，以及激活层，其隐藏层之间其实就是很多个线性回归y=wx+b组成的 那么，思考下线性回归的权重更新方式，直接计算法，和梯度下降（我们做机器学习或者深度学习，肯定是迭代过程，为梯度下降，而且当维度太高时，直接计算法会导致维度爆炸无法计算）。那么我们可不可以在多层的神经网络里面延续梯度下降的方式来对权重进行更新呢？

>>阅读原文<<