【SCIR笔记】ACL2020表格预训练工作速览

作者：哈工大SCIR 潘名扬、窦隆绪 来自：工大SCIR 1. 简介 近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的，在需要一些需要对结构化数据进行编码的任务上（如Text-to-SQL、Table-to-Text），需要同时对结构化的表格数据进行编码，如

>>阅读原文<<