超越 BERT 和 GPT，微软亚洲研究院开源新模型 MASS！

自 2018 年以来，预训练无疑是自然语言处理（NLP）领域中最热门的研究课题之一。通过利用 BERT、GPT 和 XLNet 等通用语言模型，该领域的研究者们在自然语言理解方面已经取得了许多重大的突破。然而，对于序列到序列的自然语言生成任务，这些主流的预训练方法并没有带来显著的改进，对此，微软亚洲研究院提出了一个全新的通用预训练方法——MASS，在该任务中可以得到比 BERT 和 GPT 更好的

>>阅读原文<<