美团BERT的探索和实践

总第368篇html 2019年 第46篇前端 背景 2018年，天然语言处理（Natural Language Processing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和ULMFiT[2]，基于Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模

>>阅读原文<<