NLP领域中的预训练模型杂谈

近期NLP领域发生了很多大事，基本都离不开Pretrain这个字眼，比如大名鼎鼎的BERT、GPT等，笔者也是在近期撸了 7篇 近一年内相关的论文及它们的源码，这里就是对这7篇论文进行一个大总结，用更有条理的方式理清这些模型的关系，以期能加深印象，真正掌握这些论文背后要强调的思路~ 文章目录 一. 前言 二. 杂谈 1. 为啥pretrain是有用的？ 2. 分类 3. 对比 4. 优缺点 5.

>>阅读原文<<