Transformer 笔记总结

transformer这一概念来自于原文attention is all you need 在机器翻译中,输入是一个句子,输出是另一种语言的句子,如下图所示: 即由编码组件、解码组件以及连接层构成,如下图所示: 其中编码器由6个编码器单元构成,解码器由6个解码器单元构成,如下图所示: 其中,编码器单元结构完全相同,但是不共享参数,由self-attention和feedforward组成,self
相关文章
相关标签/搜索