激活函数

   ELU激活函数                http://www.javashuo.com/article/p-dnokdndo-nd.html  融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。 右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。 ELU的输出均值接近于零，所以收敛速度更快。 在 ImageNet上，不加 Batch N

>>阅读原文<<