华为开源预训练语言模型「哪吒、TinyBERT」可直接下载使用

近日，华为诺亚方舟实验室的NLP团队开源了两个重要的预训练语言模型-哪吒和TinyBERT， 可以直接下载，预先训练和微调这两个模型。 该项目是诺亚方舟实验室用于开放各种预训练模型的源代码的项目。当前有两个，并且不排除将来会添加更多模型。 Nezha是基于BERT优化和改进的预训练语言模型。中文使用的语料库是Wikipedia和Baike and News，而Google的中文语料库仅使用Wiki

>>阅读原文<<