论文笔记《Knowledge Enhanced Contextual Word Representations》

Motivition 作者的出发点有几个: 尽管BERT这种预训练模型取得了state-of-art的成绩。但是、因为他们没有包含真实世界的实体,所以导致这些模型也很难覆盖真实世界的知识。 没有实体没有知识怎么办呢?Knowledge bases、知识库有。 知识库不仅拥有丰富的高质量、人类产生的知识,而且他们包含与原始文本中互补的信息,还能够编码事实性的知识。所以用知识库可以解决因不频繁出现但是
相关文章
相关标签/搜索