BERT与其他预训练模型

上一期我们讲到BERT的原理与应用 这一期我们讲一下其他预训练模型~ 8.1.3 RoBERTa 语言模型的预训练带来了可观的性能提升，但是不同方法之间的仔细比较却是一项艰巨的任务。 Yinhan Liu等人[1]认为超参数的选择对最终结果有重大影响，为此他们提出了BERT预训练的重复研究，其中包括对超参数调整和训练集大小的影响的仔细评估。最终，他们发现了BERT的训练不足，并提出了一种改进的模型

>>阅读原文<<