Relu的作用

转自一个知乎问答；https://www.zhihu.com/question/29021768 1.为什么引入非线性激励函数？ 如果不适用激励函数，那么在这种情况下每一层的输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（perceptron）了 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层

>>阅读原文<<