LSTM 两个激励函数区别sigmoid 和tanh

1），sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。 2），tanh 用在了状态和输出上，是对数据的处理，这个用其他**函数或许也可以。 1. sigmoid**函数 sigmoid将一个实数输入映射到[0,1]范围内，如下图（左）所示。使用sigmoid作为**函数存在以下几个问题： 梯度饱和。当函数**值接近于0或者1时，函数的梯度接近于0。在反

>>阅读原文<<