RNN和LSTM

本文主要基于天池上的AI学习视频:点击打开链接 基本内容有:   1 前向神经网络回顾 2 循环神经网络 2.1 循环神经网络原理 将隐藏层的值存储起来,放在memory里面。存储值可以用作一个输入。 举个例子: 时刻t=1: 时刻t=2: 时刻t=3: 放到之前的词汇标注问题里: 公式表示: 2.2 梯度消失&梯度爆炸 RNN存在梯度消失和梯度爆炸问题! 我们看一下t=3时刻的梯度: 对t=3求
相关文章
相关标签/搜索