Knowledge-Injected BERTs

1 从任务本身来看，BERT本质上是一个通用的语言模型，在进行预训练时，我们希望它能够学习到词表中每个词的词向量，即对我们平时所接触到的自然语言进行编码（encode），使之转化成模型能理解的语言。 这样的设定本身存在一个小问题：通过模型编码之后的语言向量，人类无法理解，那如何才能确保模型正确地学到我们希望的知识呢？一个解决方案是，我们将模型的输出映射到原来的词表中，然后将概率最大的单词作为模型的

>>阅读原文<<