通俗理解激活函数作用和常见激活函数总结：sigmoid、tanh、relu、Leaky-relu、P-relu、R-Relu、elu

激活函数的作用 可以想象，如果没有激活函数，下一层的输入总是上一层的输出，无论多少层网络，都是线性函数，线性函数的逼近能力是非常有限的，无法拟合现实中这些没有规律的非线性复杂函数。举个例子： 个人理解为把有规律线性函数用激活函数扭曲，层数越深扭曲次数越多，经过深层网络的扭曲之后，鬼知道是个什么函数，剩下的交给反向传播自己训练去把。 各种激活函数 1.Sigmoid激活函数： 缺点：1.在深度神经网

>>阅读原文<<