官方答疑 | 赛事说明文字精华版


一、赛程安排

2017年9月4日-2017年9月24日:

平台会在9月4日10:00开放训练数据集以及验证数据集,参赛选手可以自行下载数据,在本地进行算法设计、模型训练及评估。

2017年9月25日-2017年12月3日:

(1)平台会在9月25日10:00开放测试数据集A集,参赛选手可自行下载数据,在本地使用先前训练的模型进行预测,生成预测结果并提交至平台。结果提交后,系统会按照评测指标实时反馈分数,并更新榜单排名。

(2)每队每周最多可提交2次(不同比赛提交次数会有调整)。

(3) 榜单以所有参赛队伍的历史最优成绩进行排名。当有团队提交新的预测结果之后,榜单将实时更新。最终的成绩排名以12月3日23:59:59的排名为准。

双周赛:

从9月25日至11月20日期间,组委会将举办4次双周赛。10月9日将公布第一次双周赛排名前三的队伍,颁发奖金及证书。之后每两周公布一次排名前三的队伍名单,一共颁发四次双周奖。双周赛的排名将以10月8日、10月22日、11月5日、以及11月19日当晚23:59:59的成绩榜单排名为准。

测试数据集B集:

最终榜单公布前,公布测试数据集B集,具体开放时间待定。B集开放之后,成绩榜单将采用选手模型在测试数据集的B集上的预测结果表现,作为排名依据。

2017年12月3日:

预测结果提交截止。最终的榜单成绩排名以12月3日23:59:59的排名为准。本次榜单决定场景分类竞赛年度的获奖队伍,其他竞赛将进入到下一轮的答辩环节。

2017年12月16日(暂定):

(1)人体骨骼关键点检测、图像中文描述、英中机器文本翻译、英中机器同声传译四个竞赛系统最后一次榜单成绩排名前五的队伍将在当天受邀来到现场进行答辩,特殊情况可以远程答辩,具体安排另行通知。

(2)参赛队伍应提前准备答辩材料,包括PPT、算法代码等。

(3)榜单成绩和答辩成绩的加权总成绩将决出这四个竞赛最终的大奖。同时,五个竞赛的冠亚季军及获得优胜奖的队伍将受邀来到现场参加颁奖典礼。

评分规则

本次大赛将以最终榜单排名结合答辩表现,加权计算总成绩,决出最终的大奖。

竞赛的测试数据将分为A、B集两部分。A集部分将在9月25日开放下载,在B集部分开放之前,榜单将采用选手模型在测试数据集的A集上的预测结果,作为排名依据。

B集部分预计在11月下旬开放,具体开放时间待定。B集开放之后,榜单将采用选手模型在测试数据集的B集上的预测结果,作为排名依据。最终的榜单成绩排名以12月3日23:59:59的排名为准。

报名方式

(1) 报名时间:即日起至10月31日。竞赛报名以及组队队员变更截止时间为10月31日23:59:59。

(2) 参赛队伍可1-3人组队参赛,确保报名信息准确有效。每名选手在大赛平台只能拥有一个账号,否则会被取消参赛资格及激励。

(3) 实名认证:为保证大赛公平性,所有选手必须完成个人信息实名认证。认证过程在个人中心的实名认证区域完成。

(4) 报名方式:登入challenger.ai官网,完成个人信息注册,即可报名参赛。

(5) 参赛队员必须遵守并签署《竞赛选手报名协议》。

组队规则

参赛队伍可1-3人组队参赛,竞赛报名以及组队队员变更截止时间为10月31日23:59:59。在10月31日前,参赛选手可自行选择退出原队伍或加入新队伍,但队员原先成绩不带入新加入队伍,以新加入队伍的成绩为准。

二、参赛对象

大赛面向全社会开放,个人、高等院校、科研单位、互联网企业、创客团队等人员均可报名参赛。创新工场、搜狗、今日头条现任全职及兼职员工,数据集建立及维护过程中能接触到数据的人员不得参赛。

三、奖金池设置

总奖金池超过200万元人民币,具体分配比例见各竞赛详细说明。

四、各竞赛及数据集详细说明

(一)计算机视觉赛道

1、人体骨骼关键点检测竞赛

赛题介绍

人体骨骼关节点对于描述人体姿态、预测人体行为至关重要,是诸多计算机视觉任务和人工智能应用的基础。本次竞赛邀请参赛者设计算法与模型,对自然图像中可见的人体骨骼关节点进行检测。

组委会将通过计算参赛者提交的检测结果与真实标注之间的相似性(OKS),并结合答辩表现,综合评估参赛者的算法模型。

本次竞赛的研究成果可以被直接应用于动作分类和识别,动作捕捉,图像和视频内容理解,人机交互,自动驾驶(行人动作和意图识别),安防(异常行为检测),无人零售(消费者行为理解)等领域。

数据集特色

作为人物动作理解的基础数据集,此次发布的人体骨骼关键点数据集是目前规模最大,场景、人物动作及身体遮挡情况最复杂的数据集。此数据集标注了共30万张图片,包含了超过100种复杂生活场景内的实际人物动作与姿态,标注人物个数达到70万量级,远超过MSCOCO的10万人,以及MPII的4万人量级。该数据集将挑战现有主流算法的鲁棒性。

奖励

冠军队伍将获得30万元人民币的奖金

亚军队伍将获得3万元人民币的奖金

季军队伍将获得1.5万元人民币的奖金

另有若干奖项如优秀奖及双周奖等,详见网站对应竞赛页面的详细说明。

2、图像中文描述竞赛

赛题介绍

图像中文描述问题融合了计算机视觉与自然语言处理两个方向,是用人工智能算法解决多模式、跨领域问题的典型代表。参赛者需要对给定的每一张测试图片输出一句话的描述。描述句子要求符合自然语言习惯,点明图像中的重要信息,涵盖主要人物、场景、动作等内容。此次发布的图像描述数据集以中文描述语句为主,与同类科研任务常见的英文数据集相比,中文描述通常在句法、词法上灵活度较大,算法实现的挑战也较大。

组委会将通过客观指标(BLEU, METEOR, ROUGE-L和CIDEr)并结合答辩表现,综合评估参赛者的算法模型。

本次竞赛的研究成果可以被直接应用于图像与视频语义理解、图像与视频自动标注、图像与视频内容检索、人工智能辅助教育、机器人视觉、盲人辅助等人工智能相关领域。 

数据集特色

图像中文描述数据集,是计算机视觉与自然语言处理两个学科的交叉结晶。该数据集是目前规模最大、场景和语言使用最丰富的图片中文描述数据集,使用了超过100种复杂生活场景的含有人物的图片,其场景复杂度、人物动作复杂度、身体遮挡情况都高于现有的其他数据集;而且,此数据集的语言描述标注更符合中文语言使用习惯。

相对于MSCOCO和Flickr8k-CN,在完整描述图片主体事件的基础之上,该数据集创新性的引入了形容词和中文成语,用以修饰图片中的主要人物及背景事件,大大提升了描述语句的丰富度。同时,本数据集的30万图片标注量将远远大于Flickr8k-CN(8000张图)。巨大的数据量和复杂的图片场景将直接挑战现有算法的可用性。

奖励

冠军队伍将获得30万元人民币的奖金

亚军队伍将获得3万元人民币的奖金

季军队伍将获得1.5万元人民币的奖金

另有若干奖项如优秀奖及双周奖等,详见网站对应竞赛页面的详细说明。

3、场景分类竞赛

赛题介绍

本次场景分类竞赛从400万张互联网图片上精选出10万张图片,分属于80个日常场景类别。每个场景类别包含大约1000张图片。要求参赛选手根据图片场景数据集建立算法,预测每张图片所属的场景类别,组委会将通过计算参赛者提交预测值和场景真实值之间的误差确定预测准确率,评估所提交的预测算法。

奖励

冠军队伍将获得10万元人民币的奖金

亚军队伍将获得1万元人民币的奖金

季军队伍将获得0.5万元人民币的奖金

另有若干奖项如优秀奖及双周奖等,详见网站对应竞赛页面的详细说明。

(二)机器翻译赛道

数据集特色

本次公开的机器翻译的训练数据为英中方向的高质量、大规模的口语领域的数据。训练数据全部经过译员检查和矫正,句正确率在97%以上,英中双语句对对照工整、质量高、噪音低。现有中英机器翻译评测比赛采用有效数据从30万(例如,The International Workshop on Spoken Language Translation)到900万(例如,Chinese Workshop on Machine Translation)不等。而此次采用的训练数据量达到1000万句对,是最大规模的口语领域英中比赛数据集。训练数据领域性强,面向口语领域。

1、 英中机器文本翻译竞赛

赛题介绍

英中机器翻译竞赛的目标是评测各家英中文本机器翻译的能力。本次文本机器翻译语言方向为英文到中文。参赛队伍需要根据评测方提供的数据,训练机器翻译系统,并且自由地选择机器翻译技术。例如,基于规则的翻译技术、基于实例的翻译技术、统计机器翻译及神经网络机器翻译技术等。

本次竞赛将利用机器翻译的客观考核指标(BLEU、NIST score、TER)进行评分,BLEU得分会作为主要的机器评价指标。组委会将通过客观指标,并结合答辩表现,综合评估参赛者的算法模型。

本次竞赛的研究成果可以被直接应用于机器翻译尤其是口语机器翻译等领域。

奖励

冠军队伍将获得30万元人民币的奖金

亚军队伍将获得3万元人民币的奖金

季军队伍将获得1.5万元人民币的奖金

另有若干奖项如优秀奖及双周奖等,详见网站对应竞赛页面的详细说明。

2、 英中机器同声传译竞赛

赛题介绍

本次英中机器竞赛主要任务为集中优化语音识别后处理和机器翻译模块,解决机器同声传译中的技术问题。语言翻译方向为英文到中文。

相对于传统的机器文本翻译系统,机器同声传译的输入文本,暨语音识别模块的输出信息具有无标点、无断句、文本口语化以及夹杂语气词等特点。这一系列特点将为基于书面风格的传统翻译系统带来极大干扰和挑战,因此选手首先需要设计多种策略,制作语音识别后处理模块,将语音识别后的文本,处理为可用于翻译的文本。随后,调用自己训练的机器翻译系统,将识别后处理的文本翻译成目标语言。评测方将提供数据用以训练机器翻译系统,选手可以自由地选择机器翻译技术。

本次竞赛将利用机器翻译的指标(BLEU、NIST score、TER)进行评分,BLEU得分会作为主要的机器评价指标,同时结合答辩表现,综合评估参赛者的算法模型。

本次竞赛的研究成果可以被直接应用于机器翻译特别是同声传译类应用。

奖励

冠军队伍将获得40万元人民币的奖金

亚军队伍将获得4万元人民币的奖金

季军队伍将获得2万元人民币的奖金

另有若干奖项如优秀奖及双周奖等,详见网站对应竞赛页面的详细说明。