OpenAI最新研究：通过无监督学习提高语言理解能力

我们的系统分为两个阶段：首先，我们通过无监督的方式在大数据集上训练一个迁移学习模型，训练过程中使用语言模型的训练结果作为信号，然后我们在更小的有监督数据集上对这个模型进行微调，以帮助它解决特定的任务。这个方法的开发是在我们前一个sentiment neuron（情绪神经元）的工作之后进行的，在sentiment neuron任务中我们注意到，通过利用足够的数据对模型进行训练，无监督学习可以获得令人

>>阅读原文<<