常见激活函数回顾总结

激活函数分类示意图 饱和激活函数的存在的问题： 1） 在接近饱和区时，变化太缓慢，导数趋于0，容易出现梯度消失。 2） 反向传播求解偏差梯度时，梯度趋于0，收敛速度慢。  web 非饱和激活函数的优点： 1） 没有饱和区，抑制了“梯度消失”问题。（梯度消失问题的缘由是多方面的，不单单是激活函数的锅） 2） 收敛速度快 3） ReLU会使一部分神经元输出为0，使网络更加稀疏，从而下降了网络参数之间的

>>阅读原文<<