RNN可以记忆到很强的位置信息

如下两个图片,无论第一幅中的a(ht),还是第二幅中的u,都很可能会记住RNN中的位置,而非每个时间步所表达的语义。一个极端的现象,a(ht)或者u 都把RNN最后一步的输出的weight 设为1,而其他时间步的输出为0。 (1)可以用于文本分类 (2)可以用于复述判别
相关文章
相关标签/搜索