[CLS]预训练语言模型的前世今生[SEP]萌芽时代[SEP]

之前，我们公众号发表过几篇前沿论文的阅读笔记，欢迎大家去阅读和交流。而在这里，我们将会做一个NLP专题的系列阅读，专门阅读某些专题的论文。第一个当然是预训练语言模型，之后可能会有阅读理解，以及其他专题的阅读。 因为文章较多，每个专题系列，都会分多篇推送来给大家呈现，敬请期待！ 前言 前段时间，在github里发现一个很不错的repo，是母校自然语言处理实验室维护的关于自然语言处理中预训练语言模型的

>>阅读原文<<