Bert（三）

3 BERT 在本节中，我们将介绍BERT及其详细实现。 我们的框架有两个步骤：预训练和微调。 在预训练期间，通过不同的预训练任务对未标记的数据进行模型训练。 为了进行微调，首先使用预训练的参数初始化BERT模型，然后使用来自下游任务的标记数据对所有参数进行微调。每个下游任务都有单独的微调模型，即使它们已使用相同的预训练参数初始化。 图1中的问答系统示例将作为本节的运行示例。 图1:BERT的总体

>>阅读原文<<