BERT的[CLS]有什么用

[CLS]就是classification的意思，可以理解为用于下游的分类任务。 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。 语句对分类任务：该任务的实际

>>阅读原文<<