梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）问题

转自：(https://blog.csdn.net/cppjava_/article/details/68941436) （1）梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gr

>>阅读原文<<