Long Short Term Memory networks(LSTMs)

背景:在我之前的一篇博客中说了一下对RNN的理解,RNN对于长句子表示的不是很好,超过六七层的网络之后就很难获得之前内容的信息了,目前的框架是基于梯度的,多层网络很容易出现梯度弥散的情况。但是对于NLP任务中,输入序列长度会很长,基本的RNN网络就不太适合处理这些任务了。于是大牛们Hochreiter & Schmidhuber [1]就提出了LSTM网络,让处理长序列也变得可能。 原理:LSTM
相关文章
相关标签/搜索