激活函数ReLU为什么比Sigmoid效果好_梯度消失

参考: https://blog.csdn.net/u014114990/article/details/50144653 第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机（MLP）了。 正因为

>>阅读原文<<