Bert模型系列一:输入到底是什么东西呢?

bert的输入是什么。 首先放上bert论文的地址:添加链接描述 上图是论文中给出的bert的输入的结构图: 输入由三部分组成: 1.token embedding 2 segment embedding 段向量, 其中端对应的就是inputs的一句话, 句子末尾都有加[SEP]结尾符,两句拼接开头有[CLS]符号。是因为BERT里面的下一句的预测任务,所以会有两句拼接起来,上句与下句,上句有上句
相关文章
相关标签/搜索