【Recurrent Neural Network Regularization】读后感（未编辑完毕）

简介 正则化（Regularization）使神经网络应用广泛。对前馈神经网络，dropout是最有效的正则化方法。但是dropout不适用于RNN，因为递归（recurrence）会放大噪音，持续影响网络学习。RNN通常使用small model，large RNN趋于overfit。 这篇文章主要贡献是使用dropout在non-recurrent connections。如下图所示。在虚线箭

>>阅读原文<<