ERNIE: Enhanced Representation through Knowledge Integration（百度）论文翻译

paper：https://arxiv.org/pdf/1904.09223.pdf code：https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE 文前总结 ERNIE相比于BERT，做出了如下改进： 1.mask策略。BERT只使用了字级别的随机masking，但是ERNIE使用了字、实体、短语三个级别的masking，旨在使模型学习到

>>阅读原文<<