综合大全

Attention是当前模型的一切来源。 Transformer是基于encoder-decoder模型形成的端到端模型，基本作为如今的词向量预训练模型。 Transformer语言建模 Transformer 的许多后续工作尝试去掉编码器或解码器，也就是只使用一套堆叠得尽可能多的 transformer 模块，然后使用海量文本、耗费大量的算力进行训练。投入大量的计算（数十万美元用于训练其中一些语

>>阅读原文<<