深度学习——激活函数Sigmoid/Tanh/ReLU

激活函数(Activation Function)的特色： 非线性： 当激活函数是线性的时候，一个两层的神经网络就能够逼近基本上全部的函数了。 可微： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络可以保证是凸函数。 f(x)≈x： 当激活函数知足这个性质的时候，若是参数的初始化是random的很小的值，那么神经网络的训练将会很高效。 输出值范围： 当激

>>阅读原文<<