GPT原理介绍

1.引言 前面咱们介绍了ELMo算法的思想,经过在大量的语料上预训练语言模型,而后再将预训练好的模型迁移到具体的下游NLP任务,从而提升模型的能力。可是ELMo预训练的语言模型结构和下游的NLP任务的模型常常会不一致,所以,作迁移学习时常常无法将二者的模型直接进行融合,所以,本文将介绍OpenAI在2018年提出来的一个方法——GPT,该模型在预训练语言模型的基础上,只须要作一些微改便可直接迁移到
相关文章
相关标签/搜索