神经网络中激活函数的意义和需要满足的条件

（1）非线性：即导数不是常数。这个条件是多层神经网络的基础，保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。下面看一下激活函数使用线性函数时会发生什么 由上可见，任意多个线性函数的组合还是线性函数，因此只要隐藏层的输出是线性的，无论多少层，都是和一个隐藏层是一回事，只有在线性回归问题中的输出层才会用到线性激励函数，但是实际上对于回归任务，你完全可以不使用激活函数。 （2）几乎处处可微：

>>阅读原文<<