在RNN中使用Dropout

dropout在前向神经网络中效果很好，但是不能直接用于RNN，因为RNN中的循环会放大噪声，扰乱它自己的学习。那么如何让它适用于RNN，就是只将它应用于一些特定的RNN连接上。   LSTM的长期记忆是存在memory cell中的。   The LSTM can decide to overwrite the memory cell, retrieve it, or keep it for t

>>阅读原文<<