吴恩达 1.10 梯度消失与梯度爆炸

训练神经网络 尤其是深度神经网络所面临的一个问题是梯度消失或梯度爆炸 也就是说 当你训练深度网络时 导数或坡度有时会变得非常大 或非常小 甚至以指数方式变小 这加大了训练的难度 这节课 你将会了解梯度消失或爆炸问题的真正含义 以及如何更明智地选择随机初始化权重 从而避免这个问题 假设你正在训练这样一个极深的神经网络： 为了节约幻灯片上的空间，我画的神经网络每层只有两个隐藏单元，但它可能含有更多。但

>>阅读原文<<