NLP预训练模型综述

文章目录 文章 介绍 背景 2.1语言表示学习 非上下文词嵌 2.2 神经上下文编码器 2.2.1 序列模型s 2.2.2 非序列模型 2.2.3 分析 2.3 为什么预训练？ 2.4 NLP的PTMs的历史 2.4.1 第一代PTM：预先训练的词嵌入将单词表示为密集的矢量已有很长的历史[60]。 2.4.2 第二代PTM：预训练的上下文编码器 3. PTMs总览 3.1 预训练任务 3.1.1

>>阅读原文<<