飞桨火力全开，重磅上线3D模型：PointNet++、PointRCNN！

11年前的「阿凡达」让少年的咱们第一次戴上3D眼镜，声势浩大的瀑布奔流而下，星罗棋布飘浮在空中的群山，无一不体现着对生命的敬意，妥妥的坐稳了2010年北美、海外、中国和全球票房No.1的宝座，「3D」正式进入了大众的视线。

图片来自网络

11年过去了，出走半生，咱们依旧少年，「阿凡达2」依旧没有如约上映，但3D应用却在此期间获得了蓬勃的发展。这一方面得益于3D传感器技术的飞速发展，用户能够更加便捷地获取到三维图像数据；另外一方面随着机器人、无人驾驶、AR&VR等业务的日趋成熟，须要快速处理和理解海量的3D数据，以便精确感知周边物体的空间信息，3D数据的深度学习需求应运而生。随着2020年中国新基建政策的发布，相信将来3D视觉技术将会有更广阔的应用空间。

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

3D深度学习须要什么格式的数据输入？

2D图像能够自然的表示成二维矩阵，但3D数据却很是复杂，它有不少种表达形式，如：点云、体积像素、多边形网格和多视图。在3D深度学习领域中，点云数据应用最为普遍。这是由于点云数据很是接近原始的传感器数据，采用这种形式，能够更好的挖掘原始数据中的信息，使用较少的数据便可表征较多的细节的特性。此外点云的表达形式很是简单，模型训练时，对GPU性能没有过高的要求。

可是点云是不规则的数据，在空间中能够任意分布。传统状况下，能够先将点云数据转化成体积像素表示方式，再复用2D图像的CNN模型，可是代价会很是高。缘由是体积像素在空间中的稀疏性使得3D CNN训练对显存要求极高，模型难以收敛。

那么，是否有方法能够直接在点云上数据上实现特征学习呢？

飞桨开源框架1.7版本发布了用于3D点云分类、分割和检测的PointNet++和PointRCNN模型。支持ShapeNet，ModelNet，KITTI等多种点云数据集，在ModelNet40数据集上，PointNet++分类精度可达90%，在 KITTI（Car）的Easy数据子集上，PointRCNN检测精度可达86.66%，持平世界领先水平。开发者在飞桨框架基础上可快速完成任务，实现工业应用。3D模型体验请戳以下连接：

https://github.com/PaddlePaddle/models/tree/release/1.7/PaddleCV/3d_vision

PointNet++原理和实验表现

PointNet++核心是经过多级点集特征学习提取点云数据的特征，而后将提取的特征分别输入到分类和分割网络，进行3D数据的图像分类和语义分割，PointNet++网络结构下图所示。

• 多级点集特征学习（Hierarchical point set feature learning）

集合抽象层是多级点集特征学习的基本模块，由以下三个关键部分组成：

1. 采样层：使用最远点采样（FPS）的方法，从输入点中选择一组点，定义局部区域的中心。

2. 分组层：根据中心点进行分组，将云点数据划分红若干个局部区域。

3. 特征提取：经过PointNet++ 对各个局部区域进行特征提取，得到局部特征。

经过下面的动态图，能够帮助你们更好的理解多级点集特征学习的实现。 

​

图中将Paddle首字母“P”作一个局部坐标，经过PointNet++提取特征，获得一个新的点。重复这个操做，会获得另外一个小区域的点。通过一系列操做以后，会获得一组新的点。这组点在数量上少于输入的点，但每一个点都表明了周围区域的几何特征。

• 分类任务（Classification）

相似于传统的图像分类，模型将全局特征送入全链接网络中，最终获得预测的类别几率。

• 分割任务（Segmentation）

对于语义分割任务，须要从低分辨率特征中上采样还原高分辨率的特征。对于CNN模型，通常是使用2D图像插值的方式实现。PointNet++模型采用提取最近的3个近邻点，并经过这三个点加权平均的方式插值得到上采样点。

此外，PointNet++还因其对输入数据顺序置换的不变性、轻量级结构、对数据丢失很是鲁棒等特征，很是适合工业领域应用。

实验结论

PointNet++模型测试精度以下：

​

PointRCNN原理和实验表现

3D目标检测模型PointRCNN借鉴了PointNet++和RCNN的思想，提出了自底向上的生成和调整候选检测区域的算法，网络结构以下图所示：

​

PointRCNN的网络结构分为两个阶段：第一阶段自底向上生成3D候选预测框；第二阶段在规范坐标中对候选预测框进行搜索和微调，获得更为精确的预测框做为检测结果。

第一阶段：对3D点云数据进行语义分割和前背景划分，生成候选预测框，有以下三个关键步骤：

• 点云特征提取：经过PointNet++对点云数据进行编码和解码，提取点云特征向量。

• 前景点分割：根据提取的点云特征向量，使用focal loss区分前景点和背景点。focal loss能有效地平衡前景点和背景点比例失衡问题，从而获得更为准确的分类效果。

• 生成候选框：采用候选框箱模型（bin）的方法，将前背景点分割信息生成预测候选框。

举例来讲，将候选框定义为参数（x，y，z，h，w，l，θ）表征的空间中的箱体，其中（x，y，z）为箱体中心坐标，（ h，w，l）为箱体在中心坐标方向上的大小，θ为鸟瞰视角上（y方向从上往下看）箱体在x-z平面的角度。

​

bin的执行方式为：先根据前景点的分割信息粗分其所属的箱体；再在箱体内部对其作回归，获得箱体参数做为预测框；最后对预测框作NMS（Non-Max Suppress，非极大值抑制），获得最终预测候选框。

第二阶段：在规范坐标中微调候选预测框，得到最终的检测结果，有以下五个关键部分：

• 区域池化：对候选框内每一个点的特征进行池化。

• 坐标转化：为了更好地获取局部信息，须要将多个候选区域中的前景点坐标（同一个坐标系）转化为局域坐标系中的规范坐标（以预测框为中心点的多个坐标系），以下图所示：

  ​

• 特征编码：将规范坐标时丢失的深度信息、规范后的坐标信息、先后背景语义信息等通过多层感知机提取特征，做为每一个点的编码特征。

• 微调预测框：通过上一步编码后的特征，经PointNet++网络进行特征提取，最后回归获得局部坐标系下的3D预测框。

实验结论

目前发布的KITTI数据集下Car检测精度以下：

​

以上就是飞桨１.７发布的PointNet++和PointRCNN模型，基于飞桨框架，开发者可快速实现３Ｄ图像的分类、语义分割和目标检测任务，模型精度持平世界一流水平。欢迎感兴趣的伙伴在PaddleCV的模型库中，在文末的Github地址中获取相关数据集和代码，尝试实现本身的3D应用。（3D模型存在自定义OP，须要在GPU+Linux平台实现）

>> 访问 PaddlePaddle 官网，了解更多相关内容。 

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu