绝对干货！NLP预训练模型：从transformer到albert
背景 语言模型是机器理解人类语言的途径，17年的transformer是语言模型摆脱rnn，lstm建模的一次尝试，后续的bert则是大力出奇迹的代表，用更大的模型和更多的数据将nlp任务的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑，而xlnet将gpt和bert的优点结合在了一起，然后用更更大的数据吊打了bert。没过多久，bert的增强版robert
相关文章
- 1. 【NLP】ALBERT：更轻更快的NLP预训练模型
- 2. NLP预训练模型
- 3. ELECTRA: NLP预训练模型
- 4. NLP中的预训练语言模型（三）—— XL-Net和Transformer-XL
- 5. 零基础学nlp【7】 BERT ，transformer应用，预训练模型
- 6. 预训练语言模型 | (2) transformer
- 7. NLP预训练模型综述：从word2vec, ELMo到BERT
- 8. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
- 9. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
- 10. NLP预训练模型综述
- 更多相关文章...
- • ASP.NET MVC - 模型 - ASP.NET 教程
- • Rust 输出到命令行 - RUST 教程
- • 委托模式
- • Kotlin学习（二）基本类型
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 【NLP】ALBERT：更轻更快的NLP预训练模型
- 2. NLP预训练模型
- 3. ELECTRA: NLP预训练模型
- 4. NLP中的预训练语言模型（三）—— XL-Net和Transformer-XL
- 5. 零基础学nlp【7】 BERT ，transformer应用，预训练模型
- 6. 预训练语言模型 | (2) transformer
- 7. NLP预训练模型综述：从word2vec, ELMo到BERT
- 8. NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）
- 9. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
- 10. NLP预训练模型综述