ERNIE: Enhanced Language Representation with Informative Entities

Motivation 自从BERT被提出之后，整个自然语言处理领域进入了一个全新的阶段，大家纷纷使用BERT作为模型的初始化，或者说在BERT上进行微调。BERT的优势就在于使用了超大规模的文本语料，从而使得模型能够掌握丰富的语义模式。但BERT是否还有改进的空间呢？如下图，当提到鲍勃迪伦的时候，单纯依靠大规模的普通文本很难理解到底是指音乐家还是作者，但如果加入充分的先验知识，那么模型可能就会学习

>>阅读原文<<