Bert原理

模型的结构 模型主要由Embedding，多个Transform-Encoders模块，功能输出层组成。 Embeddings BERT的输入将会编码成三种Embedding的单位和。 如图所示： 图中的两个特殊符号[CLS]和[SEP]，其中[CLS]表示该特征用于分类模型，对非分类模型，该符合可以省去。[SEP]表示分句符号，用于断开输入语料中的两个句子。 Position Embedding

>>阅读原文<<