Sigmoid/Tanh/ReLu**函数的优缺点

**函数的作用 引入非线性，增强神经网络的表达能力 Sigmoid/Tanh/ReLu**函数的优缺点 这三个**函数都没能解决梯度消失 梯度弥散就是梯度消失。 一种很流行的说法是Relu解决了梯度消失的问题，其实并不是这样。 单从**函数的导数来说，看**函数的“死区”范围，即导数接近于0的区间。Sigmoid和Tanh仅0附近一小段范围非死区；即使是Relu仍有一半的死区。 此外，梯度不仅包括

>>阅读原文<<