ELMO、BERT、ERNIE、GPT

这一讲承接了上一讲关于Transformer的部分，依次介绍了基于Transformer的多个模型，包括ELMO、BERT、GPT。 因为上述的模型主要是应用在NLP中，因此首先我们必须清楚如何将离散的文本数据喂给模型，即如何用向量的方式来表征输入到模型的中的文本数据。最简单的一种方式就是one-hot向量，假设现在文档中只有apple、bag、cat、dog、elephant五个单词，那么就可以

>>阅读原文<<