BERT+知识图谱：北大-腾讯联合推出知识赋能的K-BERT模型

作者丨周鹏 单位丨腾讯 研究方向丨自然语言处理、知识图谱 背景 近两年，谷歌 BERT 等无监督预训练语言表示模型在多个 NLP 任务中均取得了可喜的成果。 这些模型在大规模开放域语料库上进行了预训练，以获得通用的语言表示形式，然后在特定的下游任务中进行了微调，以吸收特定领域的知识。但是，由于预训练和微调之间的领域差异，这些模型在知识驱动的任务上表现不佳。 例如，在医疗领域处理电子病历（EMR）分

>>阅读原文<<