预训练语言模型综述

《Pre-trained Models for Natural Language Processing: A Survey》总结 序章 随着深度学习的发展，各种神经网络被广泛应用于解决自然语言处理（NLP）任务，如卷积神经网络（CNNs），递归神经网络（RNNs），基于图的神经网络（GNNs）和注意机制。相比于非神经网络NLP方法通常严重依赖于离散的手工特征，神经网络方法通常使用低维密集向量（分布

>>阅读原文<<