梯度消失问题与如何选择激活函数

本文结构： 什么是梯度消失？ 梯度消失有什么影响？ 是什么原因？ 解决方案有哪些？ 如何选择激活函数？ 1. 什么是梯度消失？ 梯度消失，常常发生在用基于梯度的方法训练神经网络的过程中。 当我们在做反向传播，计算损失函数对权重的梯度时，随着越向后传播，梯度变得越来越小，这就意味着在网络的前面一些层的神经元，会比后面的训练的要慢很多，甚至不会变化。 2. 有什么影响？ 网络的前面的一些层是很

>>阅读原文<<