小版BERT也能出奇迹：最火的预训练语言库探索小巧之路

时间 2020-08-02

标签 bert 出奇训练语言探索小巧之路繁體版

原文原文链接

转载：https://tech.ifeng.com/c/7pqoBttuWS0git 选自Medium服务器做者：Victor Sanh网络机器之心编译架构参与：魔王框架过去一段时间，大模型层出不穷。在你们纷纷感叹「大力出奇迹」的时候，做为调用预训练语言模型最流行的库，HuggingFace 尝试用更少的参数量、更少的训练资源实现同等的性能，因而知识蒸馏版 BERT——DistilBE

>>阅读原文<<

1. 小版BERT也能出奇迹：最火的预训练语言库探索小巧之路
2. 预训练语言模型 | (3) Bert
3. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
4. 完胜BERT！NLP预训练利器：小模型也有高精度，单个GPU就能训练
5. NLP中的预训练语言模型（一）—— ERNIE们和BERT-wwm
6. [预训练语言模型专题] RoBERTa: 捍卫BERT的尊严
7. 预训练语言模型整理（ELMo/GPT/BERT...）
8. ICLR 2020| VL-BERT：预训练视觉-语言模型
9. 小评最近很火的BERT模型
10. 语言模型预训练方法（ELMo、GPT和BERT）——天然语言处理（NLP）
更多相关文章...
• 探索Redis事务回滚 - Redis教程
• MySQL FLOAT、DOUBLE、DECIMAL（小数类型） - MySQL教程
• 互联网组织的未来：剖析GitHub员工的任性之源
• 适用于PHP初学者的学习线路和建议

最新文章

1. CVPR 2020 论文大盘点-光流篇
2. Photoshop教程_ps中怎么载入图案？PS图案如何导入？
3. org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying to connect to the
4. SonarQube Scanner execution execution Error --- Failed to upload report - 500: An error has occurred
5. idea 导入源码包
6. python学习 day2——基础学习
7. 3D将是页游市场新赛道？
8. osg--交互
9. OSG-交互
10. Idea、spring boot 图片(pgn显示、jpg不显示)解决方案

本站公众号

欢迎关注本站公众号,获取更多信息

1. 小版BERT也能出奇迹：最火的预训练语言库探索小巧之路
2. 预训练语言模型 | (3) Bert
3. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
4. 完胜BERT！NLP预训练利器：小模型也有高精度，单个GPU就能训练
5. NLP中的预训练语言模型（一）—— ERNIE们和BERT-wwm
6. [预训练语言模型专题] RoBERTa: 捍卫BERT的尊严
7. 预训练语言模型整理（ELMo/GPT/BERT...）
8. ICLR 2020| VL-BERT：预训练视觉-语言模型
9. 小评最近很火的BERT模型
10. 语言模型预训练方法（ELMo、GPT和BERT）——天然语言处理（NLP）

>>更多相关文章<<