RoBERTa：一种鲁棒地优化BERT预训练的方法

RoBERTa：一种鲁棒地优化BERT预训练的方法 文章目录 RoBERTa：一种鲁棒地优化BERT预训练的方法 前言 背景 实验 静态 VS 动态 Masking 输入形式与NSP任务 更大的batch_size 更大的BPE词汇表 总结 使用 最后 前言 本文提出了一种对BERT预训练进行精细调参和调整训练集的方法，用这种方法对BERT进行预训练还能提升性能。 自训练的方法，诸如 ELMo、G

>>阅读原文<<