NLP12:预训练模型之ELMO

公众号:数据挖掘与机器学习笔记 1.简介 ELMO是一种深层的上下文单词表示模型,它可以同时建模: (1) 单词使用的复杂特征(例如语法和语义),也就是能够学习到词汇用法的复杂性 (2)这些用法如何在语言上下文之间变化(即建模多义性) 词向量是深度双向语言模型(deep bidirectional language model,BILM)内部状态的可学习函数,这些双向语言模型在大型文本语料库上进行
相关文章
相关标签/搜索