机器学习：神经网络激活函数总结

神经网络各种激活函数总结 1. 激活函数基本概念 1.1 激活函数的作用 激活函数向神经元中引入了非线性因素，使得神经网络可以逼近任意非线性函数，能应用到诸多非线性场景中。 1.2 激活函数的饱和性 (1) 饱和：激活函数既满足左饱和又满足又饱和。 右饱和：激活函数 f(x) f ( x ) 满足: limx→+∞=0 lim x → + ∞ = 0 左饱和：激活函数 f(x) f ( x ) 满

>>阅读原文<<