人脸识别-3D:Learning from Millions of 3D Scans for Large-scale 3D Face Recognition

Learning from Millions of 3D Scans for Large-scale 3D Face Recognition

从百万张3D人脸图片中学习3D人脸识别

2018 CVPR 西澳大利亚大学

摘要

原文	译文
In this backdrop, we propose a method for generating a large corpus of labeled 3D face identities and their multiple instances for training and a protocol for merging the most challenging existing 3D datasets for testing.	首先，咱们提出了一张数据加强的方法，而且将这些3D图像变成可以训练的样本；提出一种protocol协议，将现有的最有挑战性的3D数据集合在一块儿以便测试。
We also propose the first deep CNN model designed specifically for 3D face recognition and trained on 3.1 Million 3D facial scans of 100K identities.	第二，咱们提出了第一个三维人脸的CNN网络模型，而且在100k我的的3.1M样本上进行了训练。
Our test dataset comprises 1,853 identities with a single 3D scan in the gallery and another 31K scans as probes, which is several orders of magnitude larger than existing ones. Without fine tuning on this dataset, our network already outperforms state of the art face recognition by over 10%. We fine tune our network on the gallery set to perform end-to-end large scale 3D face recognition which further improves accuracy.	咱们的测试集包括1853我的的一张3D点云做为gallery，其余的31k张做为probe。在不fine-tuning的状况下，咱们的网络比现有的方法准确率高10%；若是fine tuning的话，准确率还能提升。

main contribution

1. 3D数据加强
2. 现有的3D数据集所有做为测试集
3. 提出的三维人脸识别网络F3DNet（已公开）

data augmentation

数据加强是我认为本文最大的亮点

从上表能够看出，本来真实的3D face只有1785类，做者经过dense correspondence model和软件生成的方式，新生成了近10万个新的类别，而后再用expression和pose生成类内的不一样图片，最终将训练集从1785扩大到了3百万！
具体的图片生成方式包括两种，一个使用匹配模型，将本来两个不像的人生成一个平均；一个是用了一款商业软件Singular Inversions。
expression是软件自带的，pose是经过模型旋转获得的。

FR3DNet

做者的另外一个亮点在于如何把点云数据变成如今的2D神经网络能接受的输入。
点云（x,y,z）经过gridfit算法生成深度图，做为RGB的第一个通道；
点云的法向量的方位角azimuth和俯仰角elevation用girddata算法生成图，做为RGB剩下的两个通道。
即用如今dae图代替原来的RGB图。
网络设计上，做者再VGGFace的基础上，提出用大的卷积核，大的卷积核能更好的感觉点云的形状信息。

Result

先放结果

做者的实验把现有的能找到的3D人脸数据集所有测了一遍，并且效果很好，若是在这些数据集上fine tuning 效果会更好。。
结果就不分析了，本身看数字感觉吧，，之后的3D人脸的论文都要拿来和这篇论文比啊，，慌。。