OpenCV基于残差网络实现人脸检测

OpenCV基于残差网络实现人脸检测
OpenCV3.3版本第一次把深度神经网络(DNN)模块引入到正式发布版本中，最新的OpenCV3.4中DNN模块发布了两个必杀技，一个支持Faster R-CNN的对象检测，比SSD与YOLO这些模型有更好的检测精度与小对象检测能力，另一个是支持基于SSD+Resnet模型的人脸检测，虽然速度还达不到HAAR级联检测器的实时性，可是准确性与模型泛化能力能够说完爆HAAR级联检测器方式的人脸检测算法。做为OpenCV开发者须要人脸检测功能时候又多了一种更加可靠的选择，这里咱们首先简单介绍一下什么是残差网络，而后给出其人脸检测模型在OpenCV基于摄像头实时人脸检测演示。
一：残差网络(Resnet)
最初的CNN网络LeNet与AlexNet卷积层都比较少，VGG经过小的卷积核实现了网络深度的增长取得了显著效果，可是当层数过分增长的时候就发现训练错误与测试错误都在增长，图示以下：

最开始人们觉得是由于梯度消失或者梯度爆炸致使的，不过随着你们的努力，认为这个不是一个过拟合问题，而是网络褪化现象，因此针对这种状况，MSRA何凯明团队提出了一种新的网络模型-Residual Networks，其主要思想是使用残差结构来训练网络，一个残差结构以下：

做者认为F(x) = H(x)-x因此获得H(x) = F(x) + x这样的恒等映射，而后做者就创建34层plain网络与34层的残差网络做为对比，而最左边的VGG-19网络做为参考，整个的网络结构显示以下：
--- 图太大啦！！！
模型创建好的以后，做者在不一样的数据集上进行了训练与测试，均观察到残差网络的效果要明显优于34层plain网络，并且发现基于残差结构的网络层数越深效果越好，而34层plain网络跟18层的plain网络相比有明显的褪化现象出现。对比训练的结果以下：

在残差网络没有出来以前，不多有网络的层数会超过100层，可是残差网络能够达到上千层，毫无疑问何凯明团队也凭借残差网络模型在2015年的ImageNet图像分类比赛中得到了冠军，当时使用152层的残差网络。OpenCV中人脸检测的残差网络模型是基于SSD实现的，因此速度仍是挺快的，并且效果是特别的好。废话很少说了，下面我就看看OpenCV中如何使用它实现人脸检测。
二：人脸检测代码实现
模型是基于Caffe网络训练生成的，因此在开始写程序以前的第一件事情就是要下载模型文件与描述文件，这个我已经下载好了，你们就不用×××了，直接去个人github地址上下载模型文件便可
https://github.com/gloomyfish1998/opencv_tutorial
下载好模型以后放在本地的一个文件夹下便可，而后就能够开始编程工做啦。
首先须要加载模型成网络：

String modelDesc = "D:/vcprojects/images/dnn/face/deploy.prototxt";
    String modelBinary = "D:/vcprojects/images/dnn/face/res10_300x300_ssd_iter_140000.caffemodel";
    // 初始化网络
    dnn::Net net = readNetFromCaffe(modelDesc, modelBinary);
    if (net.empty())
    {
        printf("could not load net...\n");
        return -1;
    }

而后要打开本地相机或者一段视频文件，使用VideoCapture对象便可，代码以下：

// 打开摄像头
    VideoCapture capture(0);
    if (!capture.isOpened()) {
        printf("could not load camera...\n");
        return -1;
    }

打开相机成功以后就能够读写每帧图像，而后转换成网络能够接受的数据类型，代码以下：

// 输入数据调整
        Mat inputBlob = blobFromImage(frame, inScaleFactor,
            Size(inWidth, inHeight), meanVal, false, false); 
        net.setInput(inputBlob, "data");

而后在OpenCV中经过调用net.forward实现检测，对结果提取置信分数(0~1)之间，对大于阈值(假设0.5)的提取BOX位置，就能够绘制矩形框显示了，这部分的代码以下：

// 人脸检测
        Mat detection = net.forward("detection_out"); 
        vector<double> layersTimings;
        double freq = getTickFrequency() / 1000;
        double time = net.getPerfProfile(layersTimings) / freq;
        Mat detectionMat(detection.size[2], detection.size[3], CV_32F, detection.ptr<float>());

        ostringstream ss;
        ss << "FPS: " << 1000 / time << " ; time: " << time << " ms";
        putText(frame, ss.str(), Point(20, 20), 0, 0.5, Scalar(0, 0, 255));
        for (int i = 0; i < detectionMat.rows; i++)
        {
            float confidence = detectionMat.at<float>(i, 2);
            if (confidence > confidenceThreshold)
            {
                int xLeftBottom = static_cast<int>(detectionMat.at<float>(i, 3) * frame.cols);
                int yLeftBottom = static_cast<int>(detectionMat.at<float>(i, 4) * frame.rows);
                int xRightTop = static_cast<int>(detectionMat.at<float>(i, 5) * frame.cols);
                int yRightTop = static_cast<int>(detectionMat.at<float>(i, 6) * frame.rows);

                Rect object((int)xLeftBottom, (int)yLeftBottom,
                    (int)(xRightTop - xLeftBottom),
                    (int)(yRightTop - yLeftBottom));

                rectangle(frame, object, Scalar(0, 255, 0));

                ss.str("");
                ss << confidence;
                String conf(ss.str());
                String label = "Face: " + conf;
                int baseLine = 0;
                Size labelSize = getTextSize(label, FONT_HERSHEY_SIMPLEX, 0.5, 1, &baseLine);
                rectangle(frame, Rect(Point(xLeftBottom, yLeftBottom - labelSize.height),
                    Size(labelSize.width, labelSize.height + baseLine)),
                    Scalar(255, 255, 255), CV_FILLED);
                putText(frame, label, Point(xLeftBottom, yLeftBottom),
                    FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 0));
            }
        }

最终运行显示结果以下， 脸部无遮挡，正常状况下：

脸部无遮挡，头部倾斜的状况下：

脸部有遮挡的状况下：

更多倾斜、侧脸、模糊等各类状况下：

可见残差网络模型是何等的强大，到这里是否是该点一首《凉凉》送给HAAR级联检测器了。上述demo完整源代码，能够在GITHUB上下载。
https://github.com/gloomyfish1998/opencv_tutorial

OpenCV DNN 教程学习