ReLu(Rectified Linear Units)激活函数

1 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid 、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。 从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可

>>阅读原文<<