NLP预训练模型

训练得到的词向量表征的词语之间的信息其实有限。词向量一个难以解决的问题就是多义词的问题,例如“bank”在英文中有“河岸”和“银行”两种完全不同意思,但是在词向量中确实相同的向量来表征,这显然不合理。 2017年,为了解决这个问题,ELMO模型在“Deep contextualized word representation”被提出。 ELMO的本质思想是:用事先训练好的语言模型学好一个单词的Wo
相关文章
相关标签/搜索