Disconnected Recurrent Neural Networks for Text Categorization

Disconnected Recurrent Neural Networks（DRNN） CNN模型擅长抽取位置不变的局部特征，但是对于一些长距离依赖的问题处理的并不好。 RNN模型则更适合处理长距离依赖问题。 DRNN将RNN和CNN的优点结合起来，利用RNN增加了文本的长期依赖性，利用CNN增强了对局部的检测和位置不变性。该模型的结构是将k个RNN作为CNN中的卷积核，其中k为window s

>>阅读原文<<