深度学习笔记（八）LSTM长短期记忆网络

上一个章节（RNN）最后的时候分析，  当t-k远大于0的时候，如果 小于零，将会变成一个很小值，如果大于零，将会变成一个很多的数， 前者就是 梯度消失 ，后者就是 梯度爆炸， LSTM主要是解决这个问题。梯度消失图如下： 其实，长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了

>>阅读原文<<