RNN可以记忆到很强的位置信息

如下两个图片，无论第一幅中的a(ht),还是第二幅中的u，都很可能会记住RNN中的位置，而非每个时间步所表达的语义。一个极端的现象，a(ht)或者u 都把RNN最后一步的输出的weight 设为1，而其他时间步的输出为0。 （1）可以用于文本分类 （2）可以用于复述判别

>>阅读原文<<