微软统一预训练语言模型UniLM 2.0解读

微软研究院在2月底发布的UniLM 2.0（Unified Language Model \ 统一语言模型）文章，相比于19年上半年发布的UniLM 1.0，更加有效地整合了自然语言理解（NLU）与自然语言生成（NLG）这两种不同目标下的训练任务。无论是两种训练目标结合的统一性，还是在测评数据集上表现的性能，UniLM 2.0都在前一代的基础上有较大的改进。 本文将就近年来基于Transforme

>>阅读原文<<