无监督领域迁移及文本表示学习的相关进展

©作者｜邴立东、何瑞丹、张琰、李俊涛、叶海 单位｜阿里巴巴达摩院、新加坡国立大学等 摘要 随着基于 transformer 的预训练语言模型的广泛应用，多种自然语言处理任务在近一两年来都取得了显著突破。然而，高质量的模型仍然很大程度上依赖于充足的下游任务训练数据，当面对新的领域、问题场景时，预训练模型的效果仍然有待提高。 在现实应用场景中，很多领域及语言的高质量标注数据十分稀缺且昂贵，因此，如何让

>>阅读原文<<