ICLR 2020|NLP预训练模型的全新范式：对比学习

生成式模型有着其天生的优势，即学习到丰富的特征，但它也有广受诟病的确定。判别式目标函数——长期以来被认为是无用的。这是因为，判别式模型通常不是直接拟合原有的分布流形，学习到的特征较为单一。但是，最近一些工作的基于对比学习的自监督学习框架，表现十分出色。 生成式模型有着其天生的优势，即学习到丰富的特征，但它也有广受诟病的确定。判别式目标函数——长期以来被认为是无用的。这是因为，判别式模型通常不是直接

>>阅读原文<<