BART: Denoising Sequence-to-Sequence Pre-training翻译

摘要 我们介绍了BART，一种用于预训练序列到序列模型的去噪自编码器。通过（1）使用任意噪声函数来对文本进行加噪，并（2）学习模型以重建原始文本来训练BART。它使用基于标准Tranformer的神经机器翻译架构，尽管它很简单，但可以看作是BERT（由于双向编码器），GPT（具有从左至右解码器）以及许多其他最近的预训练方案的扩展。我们评估了多种加噪方法，发现通过随机改变原始句子的排列顺序并使用新的

>>阅读原文<<