神经网络训练细节（一）

一、激励函数的选取  常见的激励层函数有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxout sigmoid函数如下所示： sigmoid函数是早期用的比较多的激励函数，但现在已经不常用了。主要是当输入特别大或者特别小时，sigmoid函数的偏导数趋于0，这样在使用反向传播算法时将会出现问题,并且sigmoid函数不是关于原点对称的，这样在进行反向传播时w的梯度要么全为正

>>阅读原文<<