论文浅尝 | K-BERT: Enabling Language Representation with Knowledge Graph

1.论文动机 论文认为通过泛用型公开语料预训练得到的BERT模型只拥有“常识”，在特定垂直领域（如科技、医疗、教育等）的任务中表现效果存在提升空间。由于pre-training and fine-tuning在领域上的差异，利用BERT做知识驱动任务的时候表现不尽如人意。 论文提出的K-BERT通过引进知识图谱（将知识库中的结构化信息（三元组）融入到预训练模型）中，可以更好地解决领域相关任务。 如

>>阅读原文<<