BERT解读 —— 基础概念

word embedding pretrained embedding Word2Vec、GloVe等从未标注数据无监督的学习到词的Embedding，用到不一样特定任务中。 用于训练的Embedding来初始化模型的Embedding，然后用特定任务的监督数据来fine-tuning. 若是监督数据较少，fix Embedding，只让模型学习其它的参数（Transfer Learning）py

>>阅读原文<<