Seq2seq

以下图片来自网络。 Seq2seq中使用语义向量C的方式,有两种: decoder里只有第一个h1直接使用。 decoder中每个词都和输入一起使用。 使用attention之后,每次解码用到的Ci会根据权重变化调整,Ci一般是对编码器每一步的隐层输出hi的加权求和。 注意力分配概率分布,用输出句子i-1时刻的隐层节点状态Hi-1去一一和输入句子Source中每个单词隐层节点状态hj进行对比,即通
相关文章
相关标签/搜索