基于人类独特性，实现自由人像实例分割检测

全文共2493字，预计学习时长15分钟或更长
拍摄：Jezael Melgoza

来源：Unsplash

近年来，因为现实应用需求大，在计算机视觉领域有关“人”的研究层出不穷，实体分割就是其中一员。

通常来讲，图像分割首先须要进行物体检测，而后将物体从边框检测中分割开来。不久前，相似于Mask R-CNN的深度学习方法作到了同时检测和分割物体。可是由于相似身份识别、跟踪等与人类相关的研究变得愈来愈广泛，人们可能会好奇为何“人类”的独特性却被忽视了。

“人类”的独特性能够很好的经过人的骨架来定义。而且，在多重遮挡的实例当中，人更好地将人体骨骼与边框区分开来。

图1 使用人体姿式比边框更容易分割高度

本文将回顾《pose2seg：自由检测人像实例分割》这篇论文。在这篇论文中，做者介绍了一种新型基于姿式的人像实例分割框架，可基于人体姿式来分离图像实例。
什么是实例分割？

图2 常见的计算机视觉用例

咱们想把实例分割可用来在像素级别图像中识别每一种物品。这说明标记得同时作到分类感知和实例感知，例如图2(d)对羊一、羊2等做了不一样的标记。

实例分割在如下常见用例中被认为最具挑战性：

分类：图中有一我的。见图2（a）

物体检测：在这张图中，这些位置有5头羊。见图2（b）

语义分割：图中有羊、人和狗的像素点。见图2（c）

实例分割：在这些位置有五头不一样的羊，一我的和一只狗。见图2（d）

Pose2Seg：自由人像实例分割检测

1. 直觉
Pose2Seg背后的产生缘由是尽管通常对象实例分割方法运做良好，但这些工做大部分基于强大的物体检测。也就是说，首先生成大量建议局域，而后使用非极大值抑制（NMS）删除冗余区域，如图3所示。

图3（左）在非极大值抑制前，（右）在使用非极大值抑制以后。

当同类的两个事物有很大面积的重叠，NMS会将其看成冗余的候选区域，而后将它删除。这种状况说明基本上全部物体检测方法面对大面积重叠都一筹莫展。

可是，在处理大多数“人类“时，可经过人类骨架进行定义。如图1所示，人类骨架更适合用来区分两个重合面积很大的人。比起边框，他们能够提供更清晰的我的信息，好比说不一样身体部位的位置和可见性。

2. 网络结构
总体网络结构如图4所示。网络将全部存在的人类实例以RGB图像输入。首先，利用主干网络提取图像特征；而后，放射对齐模块根据人体姿式将ROI对齐成统一的大小（为了一致性）。此外，还为每一个人体实例生成骨架特征。

如今，ROI和骨架特征都融合在一块儿并传递给segmodule分割模块，生成每一个ROI的实例分割。最后，仿射对齐操做中的估计矩阵进行反向对齐，获得最终的分割结果。

网络子模块将在下面的小节中详细描述。

图4 网络结构概览：（a）仿射对齐操做（b）骨架特征（c）SegModule结构

3. 仿射对齐操做

仿射对齐操做主要受快速R-CNN中的ROI池和掩模R-CNN中的ROI对齐的启发。可是，当根据边界框对齐人类时，仿射对齐被用来基于人类姿式的对齐。

要作到这一点，须要离线存储最多见的人体姿式，稍后比较训练/推理时的每一个输入姿式（参见下面的图5）。其想法旨在为每一个估计姿式选择最佳模板。这是经过估计输入姿态和模板之间的仿射变换矩阵h，并选择获得最佳分数的仿射变换矩阵h来实现的。

在此P_u表明一个姿式模板，p表明对一我的的姿式估计。矩阵H是为最适合每一个姿式模板选择的仿射变换。最后，将图像或特征应用得分最高的变换H转换为所需的分辨率。

图5 仿射对齐操做

4. 骨架特征

图6 骨架特征模型

图6显示了骨架特性。对于此任务，将采用部分关联字段（PAF）。PAF的输出是每一个骨架2通道的向量场映射。PAF用于表示人体姿式的骨架结构以及身体部位的部分置信度地图，以强调身体部位关键点周围区域的重要性。

5. SEGModule

SEGModule是一种简单的编码器-解码器体系结构，其接受域是一大考虑因素。因为在对准后引入了骨架特征，SEGModule须要有足够的接收字段，这不只能彻底理解这些人工特征，并且能学习它们与基础网络提取的图像特征之间的联系。所以，它是基于校准的ROI的分辨率进行设计的。

该网络首先是7×7，stride -2的卷积层，而后是几个标准的以实现足够大的接收场的剩余单元，用于ROI。而后，用双线性上采样层恢复分辨率，用另外一个剩余单元和1×1卷积层预测最终结果。这样一个具备10个剩余单元的结构能够实现约50个像素的接收场，至关于 64×64的对齐尺寸。单位越少，网络的学习能力就越差，单位越多，学习能力就越差。

经验和结果

Pose2Seg在两类数据库中获得评测：（1）本文最大的验证数据集——OCHuman，主要针对过分重合的人类；（2）COCOPerson（COCO的人类别），包含了平常生活中最多见的场景。

该算法主要与经常使用的基于检测的实例分割框架Mask-RCNN进行了比较。

在使用OCHuman数据集对被遮挡数据进行测试时，如表1所示，Pose2Seg框架的性能比Mask R-CNN高出近50%。

表1 遮挡性能。全部的方法在COCOPersons上训练，并在OCHuman上进行测试。

在通常状况下的测试中，COCOPerson验证数据集Pose2Seg在实例分割任务中获得0.582ap（平均精度），而Mask R-CNN只获得0.532。见表2

表2 通常状况下表现

要从基于边框的框架中更好地了解pose2seg的优势，请参见下面的图7。看看“开箱即用”是如何在面具R-CNN中不被分割的。

图7 在遮挡案例中，pose2seg结果与MaskR-CNN的比较。使用预测的掩模生成边框，以便更好地进行可视化和比较。

留言 点赞 关注
咱们一块儿分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”
添加小编微信：dxsxbb 便可进微信交流群