神经网络的激活函数为何要使用非线性函数？

有人说这曾经是一道面试题！
我没说过这句话，可是感受挺有道理 --- 鲁迅

▍什么是激活函数

在神经元中，输入的inputs经过加权求和，而后被做用了一个函数，这个函数就是激活函数 Activation Function。激活函数在神经网络中的位置如图所示：

▍为何要用非线性函数

要解释这个问题，能够反过来思考一下，为何激活函数不能使用线性函数。
若是使用线性函数，每一层输出都是上层输入的线性函数，不管神经网络有多少层，输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的问题在于无论加深层数到多少，老是存在与之等效的「无隐藏层」的神经网络。为了稍微直观的理解这一点，考虑下面一个简单的例子。

存在一个线性函数f(x)=kx(k≠0)做为激活函数，将y=f(f(f(x)))对应三层的神经网络。很明显能够想到一样的处理能够由y=ax(a=k^3)，一个没有隐藏层的神经网络来表示。该例子仅仅是一个近似，实际中的神经网络的运算要比这个例子复杂不少，但不影响结论的成立。也就是说，使用线性激活函数时，没法发挥多层网络带来的优点。

相反若是使用非线性函数，激活函数给神经元引入了非线性因素，使得神经网络能够任意逼近任何非线性函数，这样神经网络就能够应用到众多的非线性模型中。

以上！

---