Active functions & Optimizers （激活函数与优化器）

在学习active functions之前，我们应该先了解下active functions应该具备的一些性质： 非线性； 可微性：当优化方法是基于梯度的时候，这个性质是必须的； 单调性：当激活函数是单调的时候，单层网络能够保证是凸函数； f(x)≈x f ( x ) ≈ x ：当激活函数满足这个性质的时候，如果参数的初始化是random的很小的值，那么神经网络的训练将会很高效；如果不满足这个性质

>>阅读原文<<