Seq2Seq和attention机制

1.seq2seq的设计初衷 seq2seq设计的初衷是为了解决输入和输出都是不定长的问题,seq2seq使用encoder和decoder分别处理不定长的输入和输出,其示意图如下: 图中的C背景变量,编码了输入序列的信息,在输出的第一时刻,我们将初始的隐状态S0和初始输出y0(<BOS>)以及C作为输入,产生了y1和隐状态S1,下一时刻的输入为C,y1和S1。  2.seq2seq设计原理 ①e
相关文章
相关标签/搜索