引入注意力机制的Seq2seq模型笔记

【伯禹学习深度学习打卡笔记】 将注意机制添加到sequence to sequence 模型中,以显式地使用权重聚合states。下图展示encoding 和decoding的模型结构,在每一个encoder的时间步t,,选择这个时间步有关的编码器的信息。 图1 具有注意力机制的seq-to-seq模型解码的第二步 此刻attention layer保存着encodering看到的所有信息——即e
相关文章
相关标签/搜索