实战：采用字mask和wwm mask在中文领域内finetune bert模型

随着google发布bert模型，bert改进版本已经到来，bert-wwm、 bert-wwm-ext、 Roberta-wwm-ext、ENRIE、XLNET各种变种版本都出现了，本人主要这对google开源的bert版本，修改其源码，数据处理上上采用字mask和wwmmask，框架依然采用tensoflow，但是将源码中estimator显式训练，个人认为estimator训练过程是个黑盒子

>>阅读原文<<