NLP中的预训练方法总结 word2vec、ELMO、GPT、BERT、XLNET

文章目录 一.文本的表示方法 基于one-hot的词向量 二.基于词向量的固定表征方法（词向量模型） 2.1 N-gram模型 2.2 NNLM 2.3 word2vec CBoW Skip-gram 层次Softmax 负采样 三.基于词向量的动态表征方法（预训练语言模型） 3.1 什么是预训练语言模型 3.2 预训练语言模型的优点 3.3 预训练语言模型的分类 自回归语言模型 自编码语言模型

>>阅读原文<<