复旦大学邱锡鹏教授：NLP预训练模型综述

复旦大学邱锡鹏教授：NLP预训练模型综述 文章目录 01 引言 02 背景 2.1 语言表示学习 2.2 神经上下文编码器 2.3 为什么要预训练？ 2.4 NLP的预训练任务的简单历史 2.4.1 第一代预训练：预训练词嵌入 2.4.2 第二代预训练：预训练上下文编码器 03 PTMs概述 3.1 预训练任务 3.1.1 语言模型 (LM) 3.1.2 掩码语言建模 Masked Languag

>>阅读原文<<