Datawhale组队学习之NLP组第四天

Datawhale组队学习之NLP组第四天 ELOM模型 GPT模型 BERT模型 参考文献与说明: 今天的博客主要介绍三个模型, ELMO,GPT与BERT模型。 ELOM模型 ELOM 模型是一个动态的模型,利用语言模型来获得一个上下文相关的预训练表示,称为ELMo。它使用的是一个双向的LSTM语言模型,由一个前向和一个后向语言模型构成,目标函数就是取这两个方向语言模型的最大似然。 关于前向概
相关文章
相关标签/搜索