BERT家族：RoBERTa

RoBERTa 论文：《RoBERTa：A Robustly Optimized BERT Pretraining Approach》微信 做者/机构：Facebook + 华盛顿大学性能 论文地址：https://arxiv.org/pdf/1907.11692学习 年份：2019.7优化 RoBERTa在训练方法上对Bert进行改进，主要体如今改变mask的方式、丢弃NSP任务、训练超参数优化

>>阅读原文<<