广告行业中那些趣事系列18：RoBERTa-wwm-ext模型为啥能带来线上效果提升？

本篇一共5840个字 摘要：本篇主要分享能带来线上文本分类效果有效提升的RoBERTa-wwm-ext模型。首先介绍背景，RoBERTa-wwm-ext模型不管在公共数据集上还是在我们线上真实分布数据集上都能带来不错的效果提升，需要重点分析下效果提升的原因。RoBERTa-wwm-ext模型相比于BERT主要有两大方面的优化，第一是RoBERTa预训练模型，第二是基于全词掩码的中文训练方式；然后重

>>阅读原文<<