为什么ReLU在神经网络中是最普遍的激活函数？

激活函数通常需要3个属性： 1.非线性-这是激活函数的关键属性。 得益于该神经网络，可用于解决非线性问题。 2.连续可微–这意味着我们具有连续的一阶导数。 这是实现基于梯度的优化方法的理想属性。 可连续微分的激活函数对于基于梯度的优化方法没有任何问题。 3.单调–它有助于神经网络更轻松地收敛为更精确的模型。   ReLU是非线性和单调的。 但这不是连续可微的。 其他激活函数（如Sigmoid和ta

>>阅读原文<<