RNN学习(二)——LSTM

为了解决RNN的一些缺点,RNN与LSTM对比。 LSTM具体实现思路如下: (1)C:控制参数 决定什么样的信息会被保留什么样的会被遗忘 丢弃的信息: 先把当前节点的输入和之前记忆的输入传递进来,然后通过sigmod函数组合起来后得到的函数值(0,1)之间,然后再跟Ct-1组合,决定丢弃什么信息。Ct是永远更新维护的值。 (2)保留的信息 (3)更新控制参数 根据旧的控制参数Ct-1和新生成的更
相关文章
相关标签/搜索