RNN演进之路-RNN-LSTM-GRU-DT(DL4MTGRULAUTransiLNCell)

本文仅对NLP应用广泛的RNN结构进行简单汇总比较：好看的图是copy的网上现有最形象的，不好看的是我自己画的。   一、RNN标准版---传统RNN 可以有效处理序列的深度学习。双向RNN未画出，方向相反，用于上下文参考。   二、LSTM长短时记忆与GRU----现代RNN 有效解决RNN中长序列的梯度消失和梯度爆炸问题，解决方式是改变传统RNN时刻间的连乘改为叠加的形式。 GRU相比LSTM

>>阅读原文<<