为什么用-Relu

ReLU起源于神经科学的研究：2001年，Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型，如下图：  Attwell等神经科学家通过研究大脑的能量消耗过程，推测神经元的工作方式具有稀疏性和分布性；因此Relu也有了单侧抑制性，让神经网络也具备稀疏性。（具备稀疏性计算都不要那么多了，很舒服很轻松，同时稀疏性也能够突显重要特征。）   相比于其它激活函数来说，ReLU有以下

>>阅读原文<<