BERT粗读

记录对于Bert的了解从无到有的过程,完善ing Day1 [2.5h] 看博客简介,大概了解BERT做什么的、在哪里创新、模型的大概架构 博客入门 背景知识 预训练模型目标是输出单词的表示。包括两大类,context-free或者是contextual,前者无论在什么语境下都会输出相同的表达,典型为word2vec;后者会与语境有关。 Vaswani et al. (2017) 中描述的原始实现
相关文章
相关标签/搜索