复旦大学邱锡鹏教授：NLP预训练模型综述

©PaperWeekly 原创 · 作者｜王馨月 学校｜四川大学本科生 研究方向｜自然语言处理 引言 随深度学习的发展，多种神经网络都被应用在 NLP 任务中，比如 CNN、RNN、GNN 和 attention 机制等，但由于现有的数据集对于大部分有监督 NLP 任务来说都很小，因此，早期的模型对 NLP 任务来说都很“浅”，往往只包含 1-3 层。 而预训练模型（Pre-trained Mod

>>阅读原文<<