论文笔记 M. Saquib Sarfraz_Pose-Sensitive Embedding_re-ranking_2018_CVPR

1. 摘要

做者使用一个pose-sensitive-embddding，把姿态的粗糙、精细信息结合在一块儿应用到模型中。 用一个新的re-ranking方法，不须要从新计算新的ranking列表，是一种无监督、自动的方法。 这个新方法取得了state-of-the-art的效果。

2. 介绍

粗糙的信息做者使用view information来表示，经过估计front、back、side三种方向得分来表示； 精细的信息做者经过计算人体的14个关键点的位置来表示，而后把位置信息做为通道输入到模型 中，只设计一个简单的分类损失来训练模型。文章主要贡献： （1）提出一种新的CNN embedding，结合粗糙、精细信息 （2）提出一种新的无监督、自动的re-ranking方法

3. 方法

论文的pipline （1）Pose-Sensitive Embedding view information：{front、back、side}网络在common trunk 以后脱离出一个view predictor ，这个分类器在独立数据集RAP上 训练学习好，对{front、back、side}分别估计出一个得分，做为主干view unit中的weight。 而view unit 接在feature map后面，复制前面的网络层。同weight 加权后接一个softmax 分类器。 训练过程 ： 先训练好view predictor ；而后训练view units 同最后一层softmax；最后训练第一层跟最后一层；在上述的全部训练过程当中，其余的 都固定不变。其实，不太明白这样训练的理由，文章中也没有给出详细的训练依据，姑且认为效果好吧。 （2）re-ranking 方法 定义一个新的expanded cross neighborhood ，而后基于ECN距离计算。 计算probe与gallery的距离，经过计算p的M个近邻同g的距离与g的M个近邻同p的距离之和，而后求平均 还使用了一种top-k gallery类似性的损失。

4. 实验

上述实验证实了粗糙、精细姿态信息对Reid的做用，进而说明了它们的结合将取得更好的结果。

5. 结论

PSE证实了粗糙、精细的信息对Reid都是颇有用的。PSE利用一个外在的view predictor 把coarse and fine-grained信息整合在一块儿。 提升了行人再识别的准确率。而新提出的基于ECN距离的re-ranking 方法也取到了state-of-the-art的效果。

6. 评价

PSE利用人体姿态关键点的估计，把关键点的位置做为新的通道输入网络；结合view information让Reid 的准确率提升了不少。 fine-grained information做为新的通道这却是一个新的思路。不过这个还要依赖一个外在独立的view predictor，稍微显得有点臃肿。 新的re-ranking 方法感受计算量仍是蛮大的，不过效果不错，这个无监督、自动的re-ranking方法还取得了state-of-the-art。

7. 参考

A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking