关于激励函数的一些思考

在学习神经网络的时候，会发现神经网络中的各个神经元代表的其实就一种运算，这=这种运算就是激励函数，激励函数一般都是非线性的，为什么呢？ 因为线性函数有一个特点，那就是线性函数的组合还是线性函数，这也就以为这不论你所设计的神经网络有多深，多么复杂，只要里面用到的激励函数是线性函数，那么这些层层之间都是线性函数的一个组合，最终整个网络依然是线性的，可以用一个矩阵来代替，跟只有一层网络是没有区别的，所以

>>阅读原文<<