NLP预训练模型综述

时间 2020-12-30

标签 NLP 笔记繁體版

原文原文链接

现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主要原因是大部分NLP任务的监督学习数据很少，而深度学习模型的参数有很多，需要大量的数据才可以学习好，否则就会发生过拟合现象，这就导致NLP模型一般都是1-3层的浅层神经网络。近几年，预训练模型的出现在NLP领

>>阅读原文<<

1. NLP预训练模型综述
2. NLP 预训练模型综述
3. NLP预训练模型1 -- 综述
4. 预训练语言模型综述
5. PTMs| 2020最新NLP预训练模型综述
6. NLP预训练模型综述：从word2vec, ELMo到BERT
7. NLP预训练模型
8. ELECTRA: NLP预训练模型
9. 预训练综述
10. NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT）
更多相关文章...
• ASP.NET MVC - 模型 - ASP.NET 教程
• PHP PDO预定义常量 - PHP参考手册
• 委托模式
• Kotlin学习（二）基本类型