SegaBERT论文详解及翻译（全面改进Transformer类预训练模型，自然语言任务超过BERT的SegaBERT，2020年4月论文）

SegaBERT论文详解及翻译 （喜欢看小结的同学可以直接往下翻） 摘要 预训练模型取得了SOTA的结果在多种nlp任务中。它们中的大多数基于Transformer结构，使用token的序列输入位置来区分token。然而，句子索引和段落索引对于标识一篇文档中的token位置也同样重要。我们假设使用更好的位置信息做text encoder可以生成更好的篇章表示。为了证实这个观点，我们提出了一个seg

>>阅读原文<<