论文导读 | 基于注意力机制对齐增强预训练语言模型

这篇文章通过提出了一种注意力机制对齐的方法，为预训练语言模型在 fine-tuning阶段引入了多源分词信息外部知识，从而提升了预训练语言模型在各个子任务上的效果。本文收录于 2020 年 ACL。 问题背景 BERT 出现后，预训练语言模型统治了大多数的NLP应用任务，预训练-微调这一2-stage 模式成为了主流。随着预训练语言模型的不断发展，预训练任务和模型结构被不断改进，以让模型适配更大量

>>阅读原文<<