NLP突破性成果 BERT 模型详细解读 bert参数微调

https://zhuanlan.zhihu.com/p/46997268

NLP突破性成果 BERT 模型详细解读

章鱼小丸子

不懂算法的产品经理不是好的程序员

​关注她

82 人赞了该文章

Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提到的BERT模型刷新了天然语言处理的11项记录。最近在作NLP中问答相关的内容，抽空写了篇论文详细解读。我发现大部分关注人工智能领域的朋友看不懂里面的主要结论，为了让你快速了解论文精髓，这里特意为初学者和刚接触深度学习的朋友们奉上技能点突破roadmap。若是别人写的论文解读你看不懂，表明你须要补充基础知识啦。另外给了主要论文参考，在第五部分，但愿对你在NLP领域全面的了解有所帮助。

 

1、 整体介绍

BERT模型其实是一个语言编码器，把输入的句子或者段落转化成特征向量（embedding）。论文中有两大亮点：1.双向编码器。做者沿用了《attention is all you need》里提到的语言编码器，并提出双向的概念，利用masked语言模型实现双向。2.做者提出了两种预训练的方法Masked语言模型和下一个句子的预测方法。做者认为如今不少语言模型低估了预训练的力量。Masked语言模型比起预测下一个句子的语言模型，多了双向的概念。

2、 模型框架

BERT模型复用OpenAI发布的《Improving Language Understanding with Unsupervised Learning》里的框架，BERT总体模型结构与参数设置都尽可能作到OpenAI GPT同样，只在预训练方法作了改造。而GPT让编码器只学习每个token(单词）与以前的相关内容。

上图是根据OpenAI GPT的架构图作的改动，以便读者更清楚的了解整个过程。

总体分为两个过程：1.预训练过程（左边图）预训练过程是一个multi-task learning，迁移学习的任务，目的是学习输入句子的向量。2微调过程（右边图）可基于少许监督学习样本，加入Feedword神经网络，实现目标。由于微调阶段学习目标由简单的feedward神经网络构成，且用少许标注样本，因此训练时间短。

1.输入表示

对比其余语言模型输入是一个句子或者文档，Bert模型对输入作了更宽泛的定义，输入表示便可以是一个句子也能够一对句子（好比问答和答案组成的问答对）。

输入表示为每一个词对应的词向量，segment向量，位置向量相加而成。（位置向量参考《attention is all you need》）

2.预训练过程-Masked语言模型

Masked语言模型是为了训练深度双向语言表示向量，做者用了一个很是直接的方式，遮住句子里某些单词，让编码器预测这个单词是什么。

训练方法为：做者随机遮住15%的单词做为训练样本。

（1）其中80%用masked token来代替。

（2）10%用随机的一个词来替换。

（3）10%保持这个词不变。

做者在论文中提到这样作的好处是，编码器不知道哪些词须要预测的，哪些词是错误的，所以被迫须要学习每个token的表示向量。另外做者表示，每一个batchsize只有15%的词被遮盖的缘由，是性能开销。双向编码器比单项编码器训练要慢。

3.预测下一个句子。

预训练一个二分类的模型，来学习句子之间的关系。预测下一个句子的方法对学习句子之间关系颇有帮助。

训练方法：正样本和负样本比例是1：1，50%的句子是正样本，随机选择50%的句子做为负样本。

[CLS]为句子起始符，[MASK]为遮蔽码，[SEP]为分隔符和截止符

 

4.预训练阶段参数

（1）256个句子做为一个batch,每一个句子最多512个token。

（2）迭代100万步。

（3）总共训练样本超过33亿。

（4）迭代40个epochs。

（5）用adam学习率， 1 = 0.9, 2 = 0.999。

（6）学习率头一万步保持固定值，以后线性衰减。

（7）L2衰减，衰减参数为0.01。

（8）drop out设置为0.1。

（9）激活函数用GELU代替RELU。

（10）Bert base版本用了16个TPU，Bert large版本用了64个TPU，训练时间4天完成。

（论文定义了两个版本，一个是base版本，一个是large版本。Large版本（L=24, H=1024, A=16, Total Parameters=340M）。base版本（ L=12, H=768, A=12, Total Pa- rameters=110M）。L表明网络层数，H表明隐藏层数，A表明self attention head的数量。）

5.微调阶段

微调阶段根据不一样任务使用不一样网络模型。在微调阶段，大部分模型的超参数跟预训练时差很少，除了batchsize，学习率，epochs。

训练参数：

Batch size: 16, 32

Learning rate (Adam): 5e-5, 3e-5, 2e-5

Number of epochs: 3, 4

3、实验效果

1.分类数据集上的表现

2.问答数据集上的表现

在问答数据集SQuAD v1.1上的表现，TriviaQA是一个问答数据集。EM的基本算法是比较两个字符串的重合率。F1是综合衡量准确率和召回率的一个指标。

3.命名实体识别上的表现

4.常识推理上的表现

4、模型简化测试

Blation study就是为了研究模型中所提出的一些结构是否有效而设计的实验。对该模型推广和工程化部署有极大做用。

1.预训练效果测试

NO NSP: 用masked语言模型，没用下一个句子预测方法（next sentence prediction）

LTR&NO NSP: 用从左到右（LTR）语言模型，没有masked语言模型，没用下一个句子预测方法

+BiLSTM: 加入双向LSTM模型作预训练。

 

2.模型结构的复杂度对结果的影响

L表明网络层数，H表明隐藏层数，A表明self attention head的数量。

3.预训练中training step对结果的影响

4.基于特征的方法对结果的影响

 

5、重要参考论文

如何你想了解2017年到2018年NLP领域重要发展趋势，你能够参考如下几篇论文。google直接就能够下载。

《Attention is all you need》2017年NLP领域最重要突破性论文之一。

《Convolutional Sequence to Sequence Learning》2017年NLP领域最重要突破性论文之一。

《Deep contextualized word representations》2018年NAACL最佳论文，大名鼎鼎的ELMO。

《Improving Language Understanding by Generative PreTraining》，OpenAI GPT，Bert模型主要借鉴和比较对象。

《An efficient framework for learning sentence representations》句子向量表示方法。

《Semi-supervised sequence tagging with bidirectional language models》提出双向语言模型。

6、我的观点

我的以为若是你大概了解近两年NLP的发展的话，BERT模型的突破在情理之中，大多思想是借用前人的突破，好比双向编码器想法是借助这篇论文《Semi-supervised sequence tagging with bidirectional language models》。而且，他提出的一些新的思想，是咱们天然而然就会想到的。（十一在家的时候，在作问答模型的时候，我就在想，为何不能把前一个句子和后一个句子做为标注数据，组成一个二分类模型来训练呢。）

整片论文最有价值的部分，我认为是预训练的两种方法，不须要大量标注数据，在工程实践和一些NLP基础训练中具备很大借鉴意义。

天然语言处理领域2017年和2018年的两个大趋势：一方面，模型从复杂回归到简单。另外一方面，迁移学习和半监督学习大热。这两个趋势是NLP从学术界向产业界过渡的苗头，由于现实状况每每是，拿不到大量高质量标注数据，资源设备昂贵解决不了效率问题。