【Deep Learning】笔记：Understanding the difficulty of training deep feedforward neural networks

这几天读了这篇论文，在这里将大致内容写在这里。 Abstract 介绍这篇论文的主要内容就是尝试更好的理解为什么使用“标准随机初始化”来计算使用标准梯度下降的网络效果通常来讲都不是很好。 首先研究了不同的非线性激活函数的影响，发现 sigmoid 函数它的均值会导致在隐层中很容易到达函数的饱和区域，因此sigmoid 激活函数在随机初始化的深度网络中并不合适。但同时惊喜的发现，处于饱和的神经元能够

>>阅读原文<<