官方解读，谷歌“T5”模型，如何突破迁移学习局限，实现多基准测试SOTA

2020-02-25 14:35 导语：实现多基准测试SOTA。 过去几年间，迁移学习给 NLP 领域带来了丰硕的成果，掀起了新一波的发展浪潮。而迁移学习之所以如此有效，得益于其利用自监督任务（如语言建模或填充缺失词）在大量可用的无标注的文本数据上对模型进行预训练；接着，又在更小的标注数据集上对模型进行微调，从而让模型实现比单单在标注数据上训练更好得多的性能。 迁移学习在2018年出现的GPT、U

>>阅读原文<<