深度神经网络面临的问题

深度神经网络面临的挑战 梯度消亡 训练过程非常慢 神经网络靠输入端的网络层的系数增加不再随着训练而变化，或者变化非常缓慢 随着网络层数的增加，这个现象越发明显 梯度消亡的前提 使用基于梯度的训练方法（例如梯度下降法） 使用的激活函数具有输出值范围大大小于输入值的范围，例如logistics（逻辑斯函数），tanh（双曲正切） 问题分析 梯度下降法依靠理解系数的微小变化对输出的影响来学习网络的系数的

>>阅读原文<<