机器学习理论篇之激活函数优劣比较

激活函数的作用： 为了增加神经网络模型的非线性，将一个很大范围的实数，映射到一个很小的范围之内。 为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与 没有隐藏层效果相当，这种情况就是 最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定

>>阅读原文<<