伯克利AI研究院：强化学习是GPT2等自回归语言模型弥补不足的良方？

【编者按】在过去的一年中，人们对文本生成模型的兴趣重新燃起，这在很大程度上要归功于GPT2（openAI设计的大规模非监督文本生成模型），它主要展示了使用更大模型、更大数据和更大计算量的Transformer架构的有效性。值得注意的是，在没有经过训练的情况下，该模型在几个语言建模数据集上就获得了SOTA结果，这显示了其惊人的泛化能力。 然而这些模型也显示出一些缺陷，并且这些缺陷可能无法仅通过扩大模

>>阅读原文<<