ERNIE-Enhanced Language Representation with Informative Entities 阅读笔记

2019年清华在ACL提出ERNIE模型，同年，百度也提出一个ERNIE模型。本篇论文主要针对的是清华的模型。 BERT模型在很多NLP任务中取得很好的效果，但是BERT模型只是就事论事，缺乏对知识的理解。因此ERINE模型在输入上加入了sentence存在于知识图谱中的实体信息。比如’Bob is a writer.’，在bert中原始的输入为[‘Bob’, ‘is’, ‘a’, ‘writer

>>阅读原文<<