最前沿的12个NLP预训练模型

时间 2021-07-12

标签深度学习 NLP 繁體版

原文原文链接

1 引言 17年transformer被提出，18年迎来了ELMo和BERT的横空出世，19年预训练模型不出意外地开始了全面的爆发。所以，预训练模型也成为了NLPer绕不过去的一个技术栈，这篇文章将会梳理一下我学习过的12个预训练模型。这是一篇review性质的文章，跳过了一些基础的知识，可能会对一些没用过预训练模型的读者不大友好。预训练模型，在我看来，相对传统模型做的革新，主要体现在以下三个

>>阅读原文<<

1. NLP预训练模型
2. ELECTRA: NLP预训练模型
3. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
4. NLP预训练模型综述
5. NLP 预训练模型综述
6. NLP预训练模型1 -- 综述
7. 【NLP面试QA】预训练模型
8. nlp 预训练模型_nlp365第115天nlp论文摘要scibert科学文本的预训练语言模型
9. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
10. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型...
更多相关文章...
• ASP.NET MVC - 模型 - ASP.NET 教程
• PHP gd_info - 取得当前安装的 GD 库的信息 - PHP参考手册
• 委托模式
• Kotlin学习（二）基本类型

最新文章

1. vs2019运行opencv图片显示代码时，窗口乱码
2. app自动化 - 元素定位不到？别慌，看完你就能解决
3. 在Win8下用cisco ××× Client连接时报Reason 422错误的解决方法
4. eclipse快速补全代码
5. Eclipse中Java/Html/Css/Jsp/JavaScript等代码的格式化
6. idea+spring boot +mabitys(wanglezapin)+mysql (1)
7. 勒索病毒发生变种新文件名将带有“.UIWIX”后缀
8. 【原创】Python 源文件编码解读
9. iOS9企业部署分发问题深入了解与解决
10. 安装pytorch报错CondaHTTPError：******

本站公众号

欢迎关注本站公众号,获取更多信息

1. NLP预训练模型
2. ELECTRA: NLP预训练模型
3. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
4. NLP预训练模型综述
5. NLP 预训练模型综述
6. NLP预训练模型1 -- 综述
7. 【NLP面试QA】预训练模型
8. nlp 预训练模型_nlp365第115天nlp论文摘要scibert科学文本的预训练语言模型
9. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
10. 最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型...

>>更多相关文章<<