激活函数详解

激活函数详解 ELU函数        ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能经过正值的标识来避免梯度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。具备relu的优点，且输出均值接近零，实际上prelu和LeakyReLU都有这一优势。有负数饱和区域，从而对噪声有一些鲁棒性。能够看作是介于relu和LeakyReLU之间的一个

>>阅读原文<<