最前沿的12个NLP预训练模型

时间 2021-07-12

标签深度学习 NLP 繁體版

原文原文链接

1 引言 17年transformer被提出，18年迎来了ELMo和BERT的横空出世，19年预训练模型不出意外地开始了全面的爆发。所以，预训练模型也成为了NLPer绕不过去的一个技术栈，这篇文章将会梳理一下我学习过的12个预训练模型。这是一篇review性质的文章，跳过了一些基础的知识，可能会对一些没用过预训练模型的读者不大友好。预训练模型，在我看来，相对传统模型做的革新，主要体现在以下三个

>>阅读原文<<

1. NLP预训练模型
2. ELECTRA: NLP预训练模型
3. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
4. NLP预训练模型综述
5. NLP 预训练模型综述
6. NLP预训练模型1 -- 综述
7. 【NLP面试QA】预训练模型
8. nlp 预训练模型_nlp365第115天nlp论文摘要scibert科学文本的预训练语言模型
9. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
10. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型...
更多相关文章...
• ASP.NET MVC - 模型 - ASP.NET 教程
• PHP gd_info - 取得当前安装的 GD 库的信息 - PHP参考手册
• 委托模式
• Kotlin学习（二）基本类型

最新文章

1. CVPR 2020 论文大盘点-光流篇
2. Photoshop教程_ps中怎么载入图案？PS图案如何导入？
3. org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying to connect to the
4. SonarQube Scanner execution execution Error --- Failed to upload report - 500: An error has occurred
5. idea 导入源码包
6. python学习 day2——基础学习
7. 3D将是页游市场新赛道？
8. osg--交互
9. OSG-交互
10. Idea、spring boot 图片(pgn显示、jpg不显示)解决方案

本站公众号

欢迎关注本站公众号,获取更多信息

1. NLP预训练模型
2. ELECTRA: NLP预训练模型
3. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
4. NLP预训练模型综述
5. NLP 预训练模型综述
6. NLP预训练模型1 -- 综述
7. 【NLP面试QA】预训练模型
8. nlp 预训练模型_nlp365第115天nlp论文摘要scibert科学文本的预训练语言模型
9. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
10. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型...

>>更多相关文章<<