ELU激活函数

           ELU激活函数              融合了sigmoid和ReLU，左侧具备软饱和性，右侧无饱和性。 右侧线性部分使得ELU可以缓解梯度消失，而左侧软饱可以让ELU对输入变化或噪声更鲁棒。 ELU的输出均值接近于零，因此收敛速度更快。 在 ImageNet上，不加 Batch Normalization 30 层以上的 ReLU 网络会没法收敛，PReLU网络在MSRA

>>阅读原文<<