神经网络与深度学习笔记（五）

第五章 深度神经网络为何很难训练     在深度网络中，不同的层学习的速度差异很大。当网络中后面的层学习的情况很好的时候，先前的层常常会在训练时停滞不变，基本学不到东西。根本原因是学习的速度下降了，学习速度的下降和基于梯度的学习技术有关。 5.1 消失的梯度问题     对于MNIST分类问题，理论上说，增加一个神经网络额外的隐藏层应该让网络能够学到更加复杂的分类函数，然后再分类时表现得更好，但是

>>阅读原文<<