深度学习(7) - 长短时记忆网络(LSTM)

长短时记忆网络是啥 咱们首先了解一下长短时记忆网络产生的背景。回顾一下零基础入门深度学习(5) - 循环神经网络中推导的，偏差项沿时间反向传播的公式：python 咱们能够根据下面的不等式，来获取的模的上界（模能够看作对中每一项值的大小的度量）：git 咱们能够看到，偏差项从t时刻传递到k时刻，其值的上界是的指数函数。分别是对角矩阵和矩阵W模的上界。显然，除非乘积的值位于1附近，不然，当t-k很大

>>阅读原文<<