论文阅读---ERNIE: Enhanced Language Representation with Informative Entities

天然语言表征模型最近受到很是多的关注，不少研究者将其视为 NLP 最重要的研究方向之一。例如在大规模语料库上预训练的 BERT，它能够从纯文本中很好地捕捉丰富的语义模式，通过微调后能够持续改善不一样 NLP 任务的性能。所以，咱们获取 BERT 隐藏层表征后，可用于提高本身任务的性能。web 可是，已有的预训练语言模型不多考虑知识信息，具体而言即知识图谱（knowledge graphs，KG），

>>阅读原文<<