NLPTask6 新闻⽂文本分类_基于深度学习3

了解Transformer的原理和基于预训练语言模型（Bert）的词表示 学会Bert的使用，具体包括pretrain和finetune Transformer为什么需要？ 1.结构化数据挖掘中，大多无序无局部信息 左边encoding 右边decoding 2.bert是一个预训练语言模型，bert是一个考虑上下文（双向）的模型，为了适配多任务下的迁移学习，BERT设计了更通用的输入层和输出层,

>>阅读原文<<