BERT详解，论文笔记

bert模型以及其演化的模型在NLP的各个比赛中都有异常重要的表现，所以先写一篇bert的论文笔记来记录一下这个模型。本文发表于2018年，作者提出了一种基于双向Transformer的预训练深度语言模型BERT。基于预训练的BERT模型，可以更好地完成分类，标注等下游任务。文章在11个自然语言处理的任务上用BERT模型刷新了记录。 文章背景：预训练模型ElMo[1](2018)，GPT[2](2

>>阅读原文<<