首届中国心电智能大赛复赛赛制说明

复赛赛题

各团队须要在复赛规定时间内，利用组委会提供的训练集数据，设计并实现模型和算法，可以预测常规心电图的种类。各团队在测试集上的预测结果将用于计算成绩。比赛中所使用的常规心电图类别主要有正常心电图和八种异常心电图，包括心房颤动、一度房室传导阻滞、彻底性右束支阻滞、左前分支阻滞、室性早搏、房性早搏、早期复极图形改变和T波改变。

复赛数据

复赛数据分为训练集、验证集和测试集等三个部分，其中训练集和验证集对参赛队伍可见。训练集主要用于构建模型和算法；验证集则隐去标签，各队伍将验证集上的预测结果提交到内网评分网站，既可确认预测结果文件格式正确，也可估计在所有参赛团队中的相对水平；测试集则用于计算参赛队伍的复赛成绩和排名，在比赛期间和赛后都不会公开，并将一直用于评估算法性能。

为了方便参赛团队读取数据，全部心电图都存为MAT格式。该文件中存储了12个导联的电压信号（包含了I, II, III, aVR, aVL, aVF, V1, V2, V3, V4, V5和V6），同时也包含了性别和年龄等变量。心电数据的单位为毫伏，采样率为500赫兹。训练数据对应的标签存储在REFERENCE.csv文件中，各种别编号和英文缩写以下表所示。

0	正常	Normal
1	心房颤动	AF
2	一度房室传导阻滞	FDAVB
3	彻底性右束支传导阻滞	CRBBB
4	左前分支阻滞	LAFB
5	室性早搏	PVC
6	房性早搏	PAC
7	早期复极图形改变	ER
8	T波改变	TWC

复赛赛制

赛制基本信息以下表所示。

5月5日至5月8日18点	进入复赛的参赛队伍获悉京东云提供的云桌面帐号和密码。各队伍熟悉云桌面使用，并在云桌面上安装我的所需软件	云桌面与互联网保持链接，系统内没有复赛数据；云桌面帐号同一时段只能实现一台电脑的接入
5月9日至5月12日	组委会为每台云桌面系统挂载数据盘	参赛队伍此时段内没法登陆云桌面
5月13日10点至6月10日10点	参赛队伍正式复赛，该时间段内可向ranking.jdworkspace.com提交在验证集上的结果，查当作绩排行榜	云桌面与互联网断开，且没法从云桌面向本地下载文件
6月10日至6月30日	组委会经过测试集对每支参赛队伍作算法测试	参赛队伍没法登录云桌面

各参赛队伍将于5月5日收到组委会发送的京东云帐号和密码，《大赛云桌面使用手册》可在网站上下载。参赛队伍收到帐号和密码后，可在8日18时以前登陆并熟悉使用云桌面系统。根据各参赛队伍在报名期间填写的软件需求，组委会安装了需求量较高的软件，造成了通用版云桌面系统。参赛队伍若是须要使用某些未安装的软件，必定要在8日18时以前完成。8日18时之后，组委会为每台云桌面挂载数据云盘。

在此下载 大赛云桌面使用手册

5月13日上午10点至6月10日上午10点为复赛的正式比赛时间。请各支队伍注意，正式复赛期间云桌面没法接入互联网。各队伍经过“/media/jdcloud/Train”访问复赛训练集，经过“/media/jdcloud/Val”访问验证集数据。为了方便各队伍能了解算法模型的相对水平，组委会设定了域名为“ranking.jdworkspace.com”的内网网站，供队伍将验证集上的预测结果上传。经过该预测结果计算算法性能，队伍可在该网站上查看排名（建议提交至少1次，确认格式正确；注意，该成绩不归入复赛成绩的计算）。

请各支参赛队伍注意：

• 5月5日至6月10日，各队伍能够从本地向云桌面上传文件。
• 各队伍注意在代码云盘或数据云盘上备份好代码，以防意外致使代码丢失。
• 为了保证比赛的公平公正，组委会在测试过程当中会检查各队伍的代码；为了保护各队伍的知识产权，组委会不会公开代码；且除法定情形以及为组委会测试检查目的之外，也不会将代码交给任何人使用。
• 为了保证排名网站的稳定，请各队伍不要过于频繁的提交验证集上的预测结果。

6月10日复赛结束后，组委会利用测试集对各参赛队伍的算法进行评测。复赛成绩将于6月30日以后公布。组委会将推荐参赛团队投稿到于今年10月在深圳举办的MICCAI 2019大会workshop“Machine Learning and Medical Engineering for Cardiovascular Healthcare (MLMECH-MICCAI)”，具体状况请等待大赛网站或清数DLAB公众号发布消息。

评分

本次大赛采起基于多标签分类的评分方式[1]。该方式衡量算法在每类心电图上的预测准确性。采用多标签分类的评分，主要缘由是一张心电图上可能不仅表现出一种异常。各队伍的复赛成绩取全部类别上的算术平均值。下面详述该方式。

首先，针对第j个类别定义以下四个变量，其中0≤j≤8，

由此计算每一类的Precision、Recall和F1分数：

平均F1分数为上述9个分数的算术平均值，即：

算法评测

组委会为每支队伍作算法评测，经过测试集来计算成绩。为了便于组委会能在短期内为100支队伍进行算法测试，请各队伍参考样例代码和以下流程（以Python为例）：

• 基于训练集，利用Pycharm进行算法研究；
• 基于验证集，造成与样例“answers.csv”格式一致的预测结果；
• 在ranking.jdworkspace.com上登陆并提交预测结果，查看当前排名（建议提交至少1次，保证格式正确）；
• 更新“run.sh”文件，保证可经过直接运行该bash文件，得到预测结果。

参赛队伍能够在这里下载样例代码。

在此下载 样例代码

请各参赛队伍注意，复赛成绩彻底取决于在测试集上的预测结果。组委会放弃采用验证集来评测各参赛队伍的成绩，主要缘由是该数据在复赛期间可见，没法避免有团队对数据作标注，帮助训练算法模型等潜在的不公平竞争。验证集的主要做用是用于造成排行榜，方便团队了解在全部队伍中的相对水平；同时验证预测结果的文件格式，方便后续的算法测试。

为了保证组委会能在短期内为100支复赛团队进行算法评测，请参考样例代码中run.sh文件的形式。不管使用任何语言进行算法设计，请保证能够经过run.sh文件直接运行，组委会经过修改“--test_path”实现算法在测试集上的运行，测试集与验证集的布局形式彻底相同；也请参考样例代码中的answers.csv文件，组委会利用各团队的answers.csv实现基于验证集的成绩排行榜，也用于基于测试集的最终成绩计算。

参考文献

[1] Zhang, Min-Ling, and Zhi-Hua Zhou. "A review on multi-label learning algorithms." IEEE transactions on knowledge and data engineering 26.8 (2014): 1819-1837.