deeplearning.ai学习LSTM

1、LSTM架构与公式

这里的a<t>表示的就是原始输出，y<t>表示的就是通过softmax的输出，c<t>至关于状态。u(update)表明是输入门，f表明遗忘门，o(output)表明输出门。

上图就是串联起来的结构，从图中咱们能够看出，若是门控设置比较合理的话，c<0>从左到右是能够一直传递的，不管中间通过多少层，这就是LSTM能够处理长依赖的优点。

2、Bidirectional RNN(双向RNN结构)

上图就是andrew ng画的双向RNN的结构示意图，该结构仍是以序列标注的问题做为例子解释的。从图示能够看出，一个是从左到右计算a<1>--->a<2>--->a<3>--->a<4>，另外一个方向是从右向左计算a<4>--->a<3>--->a<2>--->a<1>，根据最终两个方向计算出来的a<t>来计算最终的输出y<t>。计算公式以下：

 上图每个节点cell能够是普通RNN结构，也能够是GRU或者LSTM。

3、Deep RNN

如图所示的深层RNN共有三层，RNN对于计算资源要求比较高，因此三层已经很多了，其各个节点a和输出值y计算以下：

其中的每一个方框节点cell，一样能够是普通RNN，GRU或者LSTM.