论文笔记-Training RNNs as Fast as CNNs

摘要 由于在并行状态计算上的内在困难，RNN架构很难扩展。 比如，h_t 的前向计算被阻止直到 h_(t−1) 的整个计算结束，这对并行计算来说是一个主要的瓶颈。在这项工作中，我们提出了Simple Recurrent Unit (SRU) 架构，简化了计算并展现更多的并行性。在SRU中，每一步的大部分计算都是独立的，可以很容易的并行化。SRU和卷积层一样快，并且优化后的LSTM实现快5-10x。

>>阅读原文<<