架构-LSTM理解总结(1)

序列建模和语音识别中常使用RNN，LSTM和GRU，本文就对其进行一个整理和总结。 RNN：     双向RNN解决了上下文依赖问题，一层隐藏层的Bi-RNN结构如下所示[1]： 其中前向网络ht依赖ht-1，后项网络ht依赖ht+1，输出yt依赖前向ht，也依赖后项ht，其数学表达如下所示： 具有3个隐藏层的Bi-RNN结构如下图所示： 其数学表达如下所示：其中第i层t时刻的前向隐藏层h依赖t时

>>阅读原文<<