zheey团队的成员来自北京邮电大学，其中王文哲为队长，是计算机学院研究生一年级的学生，主要研究方向为多媒体内容理解与数据挖掘，其余成员均是准备进入实验室读研或正在实验室实习的计算机学院的本科生。团队参与此次比赛主要是本着学习的目的，但愿可以经过这次比赛更好地了解目前多媒体内容理解的前沿算法和相关知识。分工方面，主要由队长来进行模型的搭建、优化和结果的提交等等，其余成员则主要经过头脑风暴来提供一些思路。git
2019 iQIYI多模态视频人物识别挑战赛的任务本质上是一我的物检索问题,给定待检测的人物ID，在测试集的视频库中找到最可能为该人物的视频片断并按照几率进行降序排列。数据集由约20w视频片断组成，其中包含10034个待检索人物，数据规模很大，并且存在一些人脸识别比较困难的样本，须要充分利用视频中的多模态信息，另外官方也引入了不少干扰样本，整体来讲该挑战赛的难度较大。github
团队首先对竞赛的任务进行了分析，并参考去年取得较高成绩的团队们的方法，对赛题的难度有了一个大体的了解，接着在五月初开始下载数据集并设计初步模型方案。直观来看，要想实现视频中人物的识别，主要是经过人脸进行区分。为了更快地实现baseline方案，团队直接选用了官方提供的人脸特征进行实验，在官方划分的训练集上训练了一个MLP模型，在验证集上达到了接近0.83的mAP值，而后将训练集和验证集数据合并后进行了从新划分，并训练了相同的模型。在耗费了几天时间熟悉docker的基本操做以后，团队完成了baseline方法的提交并在测试集上取得了0.8742的成绩，在当时成功提交的几支队伍中排名第1，从而坚决了继续投入时间参与比赛的决心。web
在接下来的时间里，全体队员们开始对模型进行优化，包括引入多模型融合策略、对人脸特征进行质量筛选、模型参数微调、引入人脸质量分数做为权重等等，经过在官方划分的训练集上进行训练、验证集上进行测试的方式逐一验证这些策略的效果来进行筛选，而后在合并的训练与验证集数据上训练最终的模型进行提交。通过屡次尝试，该方案在测试集上的最终分数为0.8949，在全部参赛队伍中排名第6。具体细节以下（具体代码已在https://github.com/zhezheey/iQIYI-VID 公开）：算法
（1）模型输入：官方提供的人脸特征。docker
（2）模型结构：微信
三层感知机；app
中间层层宽：4096，激活函数：relu；函数
使用batch normalization和dropout；学习
最大batch size：32768（GPU：TITAN Xp）。测试
（3）训练阶段：
抗干扰：将干扰数据统一设置为第10035类。
多模型：1）基于人脸特征的质量分数划分区间：0-200，20-200，40-200，0-60；2）合并训练集与验证集，取不一样的随机种子进行打乱，以19:1的比例从新对数据集进行划分。
（4）预测阶段：
人脸质量分数：1）对于人脸特征数量不小于8的视频片断，仅选取人脸质量较高的前1/2数据进行预测；2）以人脸质量分数做为权重对几率进行加权平均。
多模型：取均值。
（5）最终结果：
基础模型（0.8742）；
模型融合（0.8861）；
质量筛选（0.8916）；
模型微调（0.8937）；
增长权重（0.8949）。
最后一周的时间里，团队开始尝试引入更多策略，例如融合多模态信息、引入图像分类模型提取特征、对训练数据进行加强等等。然而，这些策略中部分效果并不明显，部分因为时间关系并无得以很好地实现。在竞赛截止前的最后一夜，团队尝试增长了MLP模型的层数，并在验证集上取得了必定的效果提高，可是因为时间比较紧张，加上最后阶段竞赛的测试环境压力较大，也出现了一些问题，这一次提交并无运行成功（后来通过官方的验证，此次提交的确可以取得更高的分数）。部分排名靠前的队伍也使用了这些策略，可见其对结果的提高是比较明显的。若是时间充足，本团队的成绩应该还会有必定的提高，这也留下了一些遗憾。
团队在本次比赛中最大的收获是自信心上的提高，同时也对多媒体内容理解方向有了一个基本的了解。回顾比赛历程，咱们总结了如下经验：在时间分配方面，要把重心放在核心策略的优化上，不要过度纠结于模型的细节；因为存在提交次数的限制，在竞赛中要设置合理的验证策略；经常使用的一些trick在竞赛成绩的提高中十分重要，例如数据加强、模型融合等等；在策略效果不佳时要尝试对其进行检查和分析，不要轻言放弃；人员任务分配要合理，保证你们可以共同参与进来，提高模型的效果。
若是将来比赛继续开放，但愿可以基于目前的算法引入多模态的信息，参考其余获胜队伍的方法进行改进，与你们积极交流、相互促进，共同争取取得更好的成绩。最后，也但愿可以进一步对数据集、所提供的多模态特征和组织流程进行优化，为你们进行算法创新提供更好的支持。
end
也许你还想看
人物识别挑战赛TOP5团队经验分享：坚持不懈自己就是一种超越
人物识别挑战赛TOP4团队经验分享：砥砺创新，享受过程
人物识别挑战赛TOP3团队经验分享：明确目标，奋力前行
小方案蕴藏大改变，人物识别挑战赛TOP2团队依靠创新突围
人物识别精准度提高至91.14%，TOP1团队如何实现
扫一扫下方二维码，更多精彩内容陪伴你！
爱奇艺技术产品团队
简单想，简单作
▼获取开源地址请点击阅读原文
本文分享自微信公众号 - 爱奇艺技术产品团队（iQIYI-TP）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。