监督学习词向量的方法《Deep contextualized word representations》

原文链接 本文发表于自然语言处理领域顶级会议 ACL 2018 摘要 本文提出了一种提取深层次语义特征的词向量的方法，该方法是通过一个在大规模语料库上预训练得到的模型来提取词向量的。通过本文方法提取到的词向量效果十分好，可用于多种类型的NLP任务。本文把这种新的词向量表示方法称为EMLo 模型 本文采用了一种名为biLM的模型，该模型是一种“双向”的模型，什么叫做“双向”呢？ 假设我们有一个包含N

>>阅读原文<<