微软亚洲研究院成立20周年时表示：NLP将迎来黄金十年。vue
ACL2019NLP进展趋势也主要包括：预训练语言模型、低资源NLP任务（迁移学习/半监督学习/多任务学习/主动学习）、模型可解释性、更多任务&数据集。web
【预训练语言模型】已经造成了一种新的 NLP 范式：使用大规模文本语料库进行预训练，对特定任务的小数据集微调，下降单个 NLP 任务的难度。微信
预训练模型最开始是在图像领域提出的，得到了良好的效果，近几年才被普遍应用到天然语言处理各项任务中。性能
预训练模型的应用一般分为两步：学习
第一步：在计算性能知足的状况下用某个较大的数据集训练出一个较好的模型；人工智能
第二步：根据不一样的任务，改造预训练模型，用新任务的数据集在预训练模型上进行微调。url
预训练模型的好处是训练代价较小，配合下游任务能够实现更快的收敛速度，而且可以有效地提升模型性能，尤为是对一些训练数据比较稀缺的任务。spa
今天，给你们推荐的这10篇学术论文，都是经典中的经典，对你们在学习预训练模型时有很大帮助。其中有图灵奖得主的经典之做，也有最强的特征提取器、最强的NLP模型、最全的大规模预训练模型，还有ACL2020最佳论文。.net
10篇经典人工智能学术论文3d
这些论文是由老师尽心挑选的，很是适合对预训练模型有所了解的同窗、有必定基础的NLP同窗、对词向量有了解的同窗、合适NLP知识进阶同窗等。
长按扫码添加
本号只有200个名额
↓ ↓ ↓
备注【论文】添加👆
最后，给你们推荐为期三天的《文本生成任务——GPT系列模型训练营》，主要讲述最强特征提取器Transformer理论原理解读；GPT一、GPT二、GPT3演进过程；文本生成任务等。8月10号晚上7:30开班，感兴趣的同窗也能够扫描上面二维码咨询哦！
本文分享自微信公众号 - Vue中文社区（vue_fe）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。