UniLM:基于bert的Seq2Seq

论文地址:Unified Language Model Pre-training for Natural Language Understanding and Generation 概述:   UniLM是微软研究院在Bert的基础上,最新产出的预训练语言模型,被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务,可以说是结合了AR和AE两种语言模型的优点,Unilm在抽象摘要、生成
相关文章
相关标签/搜索