常见激活函数回顾总结

激活函数分类示意图 饱和激活函数的存在的问题： 1） 在接近饱和区时，变化太缓慢，导数趋于0，容易出现梯度消失。 2） 反向传播求解误差梯度时，梯度趋于0，收敛速度慢。   非饱和激活函数的优势： 1） 没有饱和区，抑制了“梯度消失”问题。（梯度消失问题的原因是多方面的，不仅仅是激活函数的锅） 2） 收敛速度快 3） ReLU会使一部分神经元输出为0，使网络更加稀疏，从而降低了网络参数之间的相互依

>>阅读原文<<