神经网络剖析激活函数优缺点（Undetanding the difficulty of training deep feedforward neural networks）

摘要：在2006年以前，似乎深度多层的神经网络没有被成功训练过。自那以后少数几种算法显示成功地训练了它们，实验结果表明了深度多层的架构的优越性。所有这些实验结果都是通过新的初始化或训练机制获得的。我们的目标是更好地理解为什么随机初始化的标准梯度下降法在深度神经网络下表现如此糟糕，为了更好地理解最近的相对成功并帮助设计未来更好的算法。我们首先观察了非线性激活函数的影响。我们发现logistic si

>>阅读原文<<