深度学习中常用的激活函数理解

ReLU还有一个优点是：Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。 Dead ReLU Problem 参考原因 要搞清楚Dead ReLU具体指的是什么，怎么产生的，如何解决？ Dead ReLU具体指的是什么？ 字面意思上理解就是“死的”神经元，即该神经元对网络不起作用了。 那么什么情况下神经元对网络不起作用了呢？ 可以

>>阅读原文<<