百度联合中国计算机学会、中国中文信息学会共同发布“千言”计划

点击左上方蓝字关注咱们

近年来，尽管天然语言处理技术飞速发展，但在模型鲁棒性、可解释性、复杂知识表示与文本融合、跨模态语义理解等方面依然面临挑战。

为了解决天然语言技术发展中所面临的挑战和推动中文信息处理技术的进步，8月25日百度大脑语言与知识技术峰会在线上召开，百度联合中国计算机学会、中国中文信息学会共同发布“千言”数据共建计划（网址：https://luge.ai）。

同时，百度技术委员会主席吴华发布了算力共享计划，但愿经过数据集的共建与算力的共享，与学界、产业界共同推动技术进步。

百度联合中国计算机学会、中国中文信息学会共同发布千言数据共建计划

目前，“千言”项目第一期已涵盖7大任务、20余个中文开源数据集，由百度携手哈工大、清华、中科院信息工程研究所等在内的10所顶级高校、企业共同建设完成。吴华表示：“咱们但愿经过这些计划，与业界同仁一块儿解决中文信息处理技术发展中的挑战，并在世界范围内建设中文信息处理影响力。”

除两大重磅计划公布外，这次峰会凝聚了百度在语言与知识领域十年的技术积累和产业实践。百度CTO王海峰发表主旨演讲，解读了百度语言与知识技术的发展历程、最新成果及趋势展望，百度集团副总裁吴甜重磅推出5款产品的新发布，加速技术大规模应用发展。

共建中文开源数据集 “千言”计划

应对语言与知识技术应用新挑战

让机器像人同样理解语言、掌握知识的天然语言处理技术，是人工智能中认知智能的核心；对语言信息的处理能力也是一个国家的核心竞争力。咱们天天都在使用的搜索、翻译、信息流推荐、时刻回应你每一个需求的智能助手等，背后都是语言与知识技术在发挥做用。

这样大规模的产业化应用也对技术提出了新挑战。包括模型须要具备全面的、处理多个子任务的能力；在跨领域数据上具备较好的泛化能力；在应用中有足够的鲁棒性以保证安全等等。此外，这些大规模应用对语义理解提出了更高的要求，要求模型具有必定的常识、背景知识甚至推理能力；同时随着内容承载形式的多元化，也须要模型具备多模态融合的内容理解能力等。

为应对以上问题，百度联合中国计算机学会、中国中文信息学会共同发起了“千言”数据共建计划，携手高校和企业的数据资源研发者共同建设中文开源数据集。在这次峰会上，百度技术委员会主席吴华、中国中文信息学会副理事长兼秘书长孙乐、中国计算机学会天然语言处理专委会主任周国栋共同解读了“千言”数据集，“千言”的目标是覆盖丰富的任务类型，从语义理解、知识融合、跨模态融合等角度推进技术进步，同时提供能进行多维度综合评价的数据集，从而评价模型的全面性、泛化性和鲁棒性等。

截至目前，第一期千言项目已涵盖了7大任务、20余个中文开源数据集，包括开放域对话、阅读理解、机器同传、情感分析、语义解析、信息抽取和文本类似度等。由百度携手来自哈尔滨工业大学、清华大学、中国科学院信息工程研究所等10所顶尖高校和企业的数据集做者共同创建完成。

为了使千言可以提供一站式的数据浏览、下载和评测的科研体验，百度还对全部数据进行了处理，每一个任务都有统一的数据格式和评测，并在此基础上提供了基线系统，帮助加速模型的研发。

吴华表示，在将来3年中，千言计划面向超20个任务，收集和建设很多于100个中文天然语言处理数据集，全面覆盖知识图谱、语言理解、语言生成、跨模态融合、NLP 应用系统等多个领域。也期待更多数据集做者可以加入共建，共同推进中文信息处理技术的进步。

 

推出算力共享计划！百度全力支持

语言与知识技术开发者、研究人员

除数据外，算力是语言与知识技术发展中面临的另外一大挑战。超大规模深度学习模型带来显著效果提高的同时，算力的需求也呈现出指数级的增加。算力的缺少已经成为了许多开发者、研究人员进行技术研发的一大瓶颈。

为此，百度正式发布了语言与知识算力共享计划。经过AI Studio平台，百度将提供算力支持，为语言与知识技术开发者助力。吴华表示，后续百度会邀请“千言”数据集的使用者，百度语言与知识开源开放的用户以及更多的中文语言与知识技术开发者、研究人员无偿使用这些算力。

传承千年的中文铸就了璀璨的华夏文明。在当下的人工智能时代，百度也但愿与学术界、产业界携手，共同推进中文信息处理技术的进步，以智能技术学习并传承凝练于中文语言中的无尽宝藏。

扫描二维码 ｜ 关注咱们

微信号 : PaddleOpenSource

点击下方“阅读原文”，进入“千言”数据共建计划页面

↓↓↓