openai-GPT模型

引言 一个对文本有效的抽象方法能够减轻NLP对有监督学习的依赖。目前大多数深度学习方法依靠大量的人工标注信息，这限制了在不少领域的应用。此外，即便在可得到至关大的监督语料状况下，以无监督学习的方式学到的表示也能够提供显着的性能提高。到目前为止，最引人注目的证据是普遍使用预训练词嵌入来提升一系列NLP任务的性能。web 结构 OpenAI-GPT提出一种半监督的方式来处理语言理解的任务。使用非监督的

>>阅读原文<<