REALM: Retrieval-Augmented Language Model Pre-Training 翻译

REALM: Retrieval-Augmented Language Model Pre-Training Abstract 语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题解答)至关重要。 但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能覆盖更多的事实。 为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模型的预训练，检索器使模型可

>>阅读原文<<