(2019ACL)ERNIE:Enhanced Language Representation with Informative Entities

论文链接:https://www.aclweb.org/anthology/P19-1139.pdf 一、Motivation 像BERT这种预训练的语言模型虽然在很多NLP任务上都取得了不错的效果,但是BERT只是能让一句话表达的更通顺,并没有融合外部的知识。而外部的信息实体是可以提高语言表征能力的。因此这篇论文通过融合知识图谱(KGs)能让模型同时利用词典,语法和知识信息。 二、解决的问题 为
相关文章
相关标签/搜索