LSTM该不该使用RELU？

首先看下现在常用的激活函数 最常见的就是 σ 函数 σ(x)=11+e−x 其用在早期的神经网络中，但是多层神经网络存在梯度消失的问题。 tanh函数如下： tanh(x)=ex−e−xex+e−x tanh函数也和 σ 函数类似，存在梯度消失的问题。 近些年来，在卷机神经网络中使用了Relu函数，发现解决了深度神经网络梯度消失的问题，Relu的表达式如下： Relu(x)=max(0,x) Re

>>阅读原文<<