ALBERT：轻量级BERT语言模型 ICLR2020

时间 2021-01-01

标签论文阅读笔记繁體版

原文原文链接

论文链接：https://arxiv.org/pdf/1909.11942.pdf 代码链接：https://github.com/google-research/ALBERT 导读今天阅读的是 Google 同学 2020 年的ICLR论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》

>>阅读原文<<

1. ICLR2020 | StructBERT : 融合语言结构的BERT模型
2. 【PTM】ALBERT：自监督学习的轻量级 BERT
3. 语言模型，bert，transformer，rnn
4. 【NLP】ALBERT：瘦身版的BERT模型
5. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
6. Group Transformer：实现轻量级的字符级语言模型
7. Bert albert xlnet gtp
8. BERT家族：ALBERT
9. LightRNN —— 基于RNN的轻量级语言模型
10. BERT轻量化探索—模型裁剪（BERT Pruning）—层数裁剪
更多相关文章...
• ASP.NET MVC - 模型 - ASP.NET 教程
• XSL 语言 - XSLT 教程
• 委托模式
• Kotlin学习（二）基本类型

最新文章

1. python的安装和Hello，World编写
2. 重磅解读：K8s Cluster Autoscaler模块及对应华为云插件Deep Dive
3. 鸿蒙学习笔记2（永不断更）
4. static关键字和构造代码块
5. JVM笔记
6. 无法启动 C/C++ 语言服务器。IntelliSense 功能将被禁用。错误: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
7. 【Hive】Hive返回码状态含义
8. Java树形结构递归（以时间换空间）和非递归（以空间换时间）
9. 数据预处理---缺失值
10. 都要2021年了，现代C++有什么值得我们学习的？

本站公众号

欢迎关注本站公众号,获取更多信息

1. ICLR2020 | StructBERT : 融合语言结构的BERT模型
2. 【PTM】ALBERT：自监督学习的轻量级 BERT
3. 语言模型，bert，transformer，rnn
4. 【NLP】ALBERT：瘦身版的BERT模型
5. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
6. Group Transformer：实现轻量级的字符级语言模型
7. Bert albert xlnet gtp
8. BERT家族：ALBERT
9. LightRNN —— 基于RNN的轻量级语言模型
10. BERT轻量化探索—模型裁剪（BERT Pruning）—层数裁剪

>>更多相关文章<<