DataWhale零基础入门NLP赛事——Task6 基于深度学习的文本分类bert

这里只介绍Bert里面的pretrain和finetune。 Google在NAACL 2018发表的论文中提出了BERT,采用了预训练-微调这一两阶段模式。 什么是预训练模型? 预训练就是预先训练好的模型,之前word2vec也是预训练的一种,预先训练好语言模型然后在各种任务中重复使用。 什么是transform? transform是一种Encode&Decode模型,网络中用到了Multi-
相关文章
相关标签/搜索