Contextual Word Representations and Pretraining

一、Word Representations 在2018年之前，我们使用的词向量表征技术主要有三个：Word2Vec、Glove、FastText。但是这三个方法都普遍存在在一些问题，就是无法解决一次多义的问题，即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 通常我们训练词向量的时候，首先会初始化所有的词向量，并且在训练过程中不断地改变这些向量的值，需要注意的是训练的目标是我

>>阅读原文<<