BERT-wwm、RoBERTa-wwm、SpanBERT、ERNIE2

BERT-wwm、RoBERTa、SpanBERT、ERNIE2 BERT-wwm/RoBERTa-wwm wwm是Whole Word Masking（对全词进行Mask）。简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。 在全词Mask中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他

>>阅读原文<<