ICLR 2020|NLP预训练模型的全新范式：对比学习

时间 2020-06-06

标签 iclr nlp 训练模型全新范式对比学习繁體版

原文原文链接

生成式模型有着其天生的优点，即学习到丰富的特征，但它也有广受诟病的肯定。判别式目标函数——长期以来被认为是无用的。这是由于，判别式模型一般不是直接拟合原有的分布流形，学习到的特征较为单一。可是，最近一些工做的基于对比学习的自监督学习框架，表现十分出色。微信生成式模型有着其天生的优点，即学习到丰富的特征，但它也有广受诟病的肯定。判别式目标函数——长期以来被认为是无用的。这是由于，判别式模型一般不是

>>阅读原文<<

1. ICLR 2020|NLP预训练模型的全新范式：对比学习
2. ICLR 2020 | ELECTRA：新型文本预训练模型
3. 预训练模型&迁移学习
4. 预训练模型迁移学习
5. python模型训练与预测练习
6. ICLR 2020| VL-BERT：预训练视觉-语言模型
7. ICLR 2020|预训练图神经网络模型
8. 图上的预训练 ICLR 2020
9. NLP预训练模型
10. ELECTRA: NLP预训练模型
更多相关文章...
• PHP 类型比较 - PHP教程
• ASP.NET MVC - 模型 - ASP.NET 教程
• Tomcat学习笔记（史上最全tomcat学习笔记）
• Kotlin学习（二）基本类型