分层注意网络HAN介绍

背景 HAN是微软提出的一个网络，试图从句子的单词，文档的句子分层次构建网络。 1 模型 1.1 GRU序列编码 GRU两个门，重置门 r t r_t rt​和更新门 z t z_t zt​，一起控制信息的流动。 1.2 层次注意力机制 1.2.1 词编码与解码 编码过程 词的注意力机制： 1.2.2句子的编码与注意力机制 句子编码也是GRU，并且应用注意力机制。 2. 实践 参看链接2。 3.

>>阅读原文<<