NEZHA & TinyBERT预训练LM，华为诺亚方舟出品

github链接： https://github.com/huawei-noah/Pretrained-Language-Model 开源代码 NEZHA NEZHA是当前基于华为诺亚方舟实验室开发的BERT的中文预训练语言模型。 请注意，此代码用于在普通GPU集群上训练NEZHA，与我们训练华为云提供的NEZHA ModelArts所使用的代码不同。 为了方便重现我们的结果，此代码是在NVIDI

>>阅读原文<<