ReLU Sigmoid and Tanh

ReLU **函数： ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为**的网络性能优于其它**函数。 数学表达式： y=max(0,x) Sigmoid **函数： sigmoid **函数在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。 数学表达式（正切函数）： y=(1+exp(−x))−1 导数：f(z)' = f(z)(1 − f(z)) Tan

>>阅读原文<<