Transformer学习笔记

1. 概述 不论从命名还是物理结构,都可以看出,Transformer是对Encoder-Decoder模型结构的继承与发展,用途上也依然以解决Seq2Seq问题为初衷。 2. 历史 2.1 Encoder-Decoder Encoder-Decoder模型其实泛指一类用于解决Seq2Seq问题的模型结构。 编解码器都不是固定的,常用的有CNN/RNN/BiRNN/GRU/LSTM等,可以根据具体
相关文章
相关标签/搜索