长短时记忆网络(LSTM)

LSTM的引入 *虽然RNN的训练过程和多层神经网络差别不大,写程序较简单,可是Rnn的训练是十分困难的,并且很难学到长期依赖,由于当对参数进行求导更新时,式子中会使用链式法则不断乘积和求导,如在对参数w更新的式子中,会须要使用链式法则,这样当对一个变量针对变量函数求导时,会获得一个雅可比矩阵,这样就会出现两个问题。网络       [1].若是雅可比阵中有较小数时,通过屡次矩阵相乘,梯度值会快速
相关文章
相关标签/搜索