深度神经网络中的梯度丢失与梯度爆炸

神经网络的反向传播 要理解梯度丢失（vanishing gradient）和梯度爆炸，首先需要理解神经网络的反向传播算法。 一般来说，训练一个神经网络需要很多个迭代。在每个迭代中，都包含两个步骤。 前馈（feed forward）：它指的是从神经网络的输入开始，根据每一层的权重和偏置，逐层计算输出，直到得到神经网络的最终输出。这个输出值可以是对图片的分类，也可以是对数据走势的预测等等。 反向传播（

>>阅读原文<<