【NLP】ALBERT：更轻更快的NLP预训练模型

时间 2021-01-12

原文原文链接

目前在NLP领域，出彩的预训练模型的新工作，几乎都是基于BERT的改进，前面我们就介绍了XLNET。今天我来介绍一个更新的工作，相比于BERT，它更轻量，效果也要好。作者&编辑 | 小Dream哥 1 预训练模型进展 2018年底，BERT横空出世之后，预训练模型开始走进NLP舞台的中央，吸引了业内所有人的关注。之后，各种预训练模型开始不断的刷新NLP领域的SOTA榜单，比较有影响力的包括，GP

>>阅读原文<<

1. NLP预训练模型
2. ELECTRA: NLP预训练模型
3. 绝对干货！NLP预训练模型：从transformer到albert
4. NLP预训练模型综述
5. NLP 预训练模型综述
6. NLP预训练模型1 -- 综述
7. 【NLP面试QA】预训练模型
8. NLP之预训练
9. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
10. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
更多相关文章...
• ADO 更新记录 - ADO 教程
• ASP.NET MVC - 模型 - ASP.NET 教程
• 委托模式
• Kotlin学习（二）基本类型