谷歌最强NLU模型BERT介绍

本文主体部分分为四部分,第一部分简介,对BERT模型进行一个简要概述。第二部分介绍BERT模型的结构,BERT模型在结构上的创新不大,利用的主要是Transformer,以及把OpenAI GPT模型的单向Transformer改为了双向,本文不对Transformer结构进行介绍。第三部分介绍预训练,这是本文的重点,也是BERT模型的重点,以及Google关于BERT模型的paper的最大创新点
相关文章
相关标签/搜索