反向传播的直观理解 （以及为什么反向传播是一种快速的算法）

解释：公式 46 其实就是微分的定义公式，”W + εej  ”代表对于由 j 个 weight 构成的单位向量 W，在其他权重都不变的情况下，使得 Wj 微小的改变 ε（W为单位向量，ej = 1，ε可正可负）。这个公式是向量形式。 解释：计算一次网络传播需要1,00,001次说的是模型进行一次梯度下降，即更新一次所有权重。1,000,000个参数需要将网络向前传播 1,000,000 次来计算

>>阅读原文<<