图解transformer

一、什么是transformer transformer是目前最流行的特征抽取器 transformer是采用encoder-decoder架构。论文Attention Is All You Need中给出encoder层是6层encoder堆叠在一起的,deco样是6层decoder堆叠在一起。 分解成一个encoder和一个decoder的话如下: RNN缺点: 1. RNN不能并行:RNN是
相关文章
相关标签/搜索