无需「域外」文本，微软：NLP就应该针对性预训练

在生物医学这样的专业领域训练NLP模型，除了特定数据集，「域外」文本也被认为是有用的。但最近，微软的研究人员「大呼」：我不这么觉得！ 什么是预训练？ 这是一个拷问人工智能「门外汉」的灵魂问题。 生而为人，我们不需要一切从零开始学习。但是，我们会「以旧学新」，用过去所学的旧知识，来理解新知识和处理各种新任务。 在人工智能中，预训练就是模仿人类这个过程。 预训练（pre-training）这个词经常在

>>阅读原文<<