非线性激活函数（为什么需要它、导数、优缺点）

为什么需要非线性激活函数？ a=z 叫做线性激活函数 或 恒等激活函数 如果使用线性激活函数，那么这个模型的输出不过是你输入特征x的线性组合。神经网络只是把输入线性组合再输出。 所以即使你有很多个隐含层，但是你如果使用线性激活函数或者不用激活函数，一直在做的只是计算线性激活函数，所以还不如直接去掉全部隐藏层。所以除非引入非线性，那么无法计算更有趣的函数。 只有一个地方可以使用线性激活函数，那就是回

>>阅读原文<<