使用dlib中的深度残差网络(ResNet)实现实时人脸识别

opencv中提供的基于haar特征级联进行人脸检测的方法效果很是很差，本文使用dlib中提供的人脸检测方法（使用HOG特征或卷积神经网方法），并使用提供的深度残差网络（ResNet）实现实时人脸识别，不过本文的目的不是构建深度残差网络，而是利用已经训练好的模型进行实时人脸识别，实时性要求一秒钟达到10帧以上的速率，而且保证不错的精度。opencv和dlib都是很是好用的计算机视觉库，特别是dlib，前面文章提到了其内部封装了一些比较新的深度学习方法，使用这些算法能够实现不少应用，好比人脸检测、车辆检测、目标追踪、语义分割等等。因为这两个库相应的都包含了C++和Python的版本，而Python的配置和相对使用起来更加简单，所以这篇文章主要经过Python来实现。

先上测试的识别效果，第一张识别吴恩达和Bengio，后者我没有打标签因此识别的是“other”；另一张gif 是识别梁朝伟、刘德华和一个女主持的过程，本地库中没有存储女主持的图片。

                                                     

             

 

由于博客园不方便上传本地视频，因此用的gif显示效果图，源视频要比gif清楚，640X480像素大小，总的来讲效果识别的效果还不错。

1、准备

（1）须要安装opencv和dlib的Python库，以前的一篇文章提到了怎样安装：http://www.cnblogs.com/supersayajin/p/8446685.html；若是你有GPU而且开启了加速，那么实现的人脸识别程序速度很是快，能够知足实时性，以我运行的结果来看，检测+识别640X480像素的视频流一秒钟大约十几帧；若是你没有GPU那么速度就会很慢了，并且在检测阶段不能使用卷积神经网络的方法了，不然检测一帧数据可能须要几秒甚至几十秒:)

（2）须要一个和PC链接的摄像头；在本文中使用的是串口的摄像头，笔记本电脑集成的摄像头就是串口的，opencv中提供了直接获取串口摄像头的接口，很是方便使用；若是是网口的摄像头那么就要看摄像头提供方，好比大华、海康他们的摄像头可能会提供官方的SDK，若是有接口那是最好；或者，若是摄像头支持RTSP协议，opencv也能够经过RTSP协议获取摄像头的数据；不然可能就要写一套socket通讯来实现数据传输，这个不在本文范围以内，默认使用的是串口的摄像头。

2、策略

人脸识别分为人脸检测和识别两个阶段，人脸检测会找到人脸区域的矩形窗口，识别则经过ResNet返回人脸特征向量，并进行匹配。

（1）人脸检测阶段。人脸检测算法须要用大小位置不一样的窗口在图像中进行滑动，而后判断窗口中是否存在人脸。在深度学习以前的主流方法是特征提取+集成学习分类器，好比之前火热的haar特征+adaboost级联分类器，opencv中实现的人脸检测方法就采用了这种，不过实验结果来看，这种检测方法效果很很差，常常误检测人脸，或者检测不到真实的人脸；dlib中使用的是HOG（histogram of oriented gradient）+ 回归树的方法，使用dlib训练好的模型进行检测效果要好不少。dlib也使用了卷积神经网络来进行人脸检测，效果好于HOG的集成学习方法，不过须要使用GPU加速，否则程序会卡爆了，一张图片可能几秒甚至几十秒。

（2）识别阶段。识别也就是咱们常说的“分类”，摄像头采集到这我的脸时，让机器判断是张三仍是其余人。分类分为两个部分：

• 特征向量抽取。本文用到的是dlib中已经训练好的ResNet模型的接口，此接口会返回一个128维的人脸特征向量。
• 距离匹配。在获取特征向量以后可使用欧式距离和本地的人脸特征向量进行匹配，使用最近邻分类器返回样本的标签。

根据以上，识别的大体过程以下：

图1 人脸识别分类过程

 

对于图1中的获取人脸特征向量，其过程以下：

图2 获取人脸特征向量过程

用简单的话总结，整个过程分为两个阶段，本地存储已标记人脸数据；识别阶段把从摄像头读取的人脸和本地进行匹配，获得分类结果。

3、程序实现

（1）构建本地人脸特征向量库，而且打标签。

首先加载须要的python库：

import dlib
import numpy as np
import cv2
import os
import json

 

而后加载模型参数：

detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')

 

上面代码中的模型参数能够到这里下载：http://dlib.net/files/。detector是使用卷积神经网络（CNN）进行人脸检测的检测算子，固然若是你使用CNN的话须要使用GPU加速，不然速度会超级慢。也可使用另外一种方法，即HOG特征级联分类的检测方法，效果略差于CNN。变量sp，使用预测算子获取获得的人脸区域中的五官的几何点区域，这里加载的是68特征点的landmark模型；而后facerec会获得ResNet模型，He Kaiming（2009年和2015的CVPR best paper做者）提出的方法的一个实现，这里训练模型已经给出，所以不须要本身手动去训练了。

最后，对某个目录中的全部图片进行处理，处理的方式是一张一张地读取某个目录中的图片，每读取一张就检测人脸，若是存在人脸就使用ResNet的接口获取人脸特性向量，保存到事先准备好的矩阵中，而且按照文件名存取标签，完了以后把全部的人脸特征向量和标签都存到本地的文本文件中。注意这里给图片打标签的方式，我把每张图片命名为标签名+下划线+序号+点号+后缀名的形式，标签名是手动命名的标记名称，序号用以区分同一类中的第几张。如下是demo中存放的部分图片：

 

也有不少其余的方法打标签，这里很少举例。

imagePath = 'LocalImage/'                                                                           #图像的目录
data = np.zeros((1,128))                                                                            #定义一个128维的空向量data
label = []                                                                                          #定义空的list存放人脸的标签

for file in os.listdir(imagePath):                                                                  #开始一张一张索引目录中的图像
    if '.jpg' in file or '.png' in file:
        fileName = file
        labelName = file.split('_')[0]                                                              #获取标签名
        print('current image: ', file)
        print('current label: ', labelName)
        
        img = cv2.imread(imagePath + file)                                                          #使用opencv读取图像数据
        if img.shape[0]*img.shape[1] > 500000:                                                      #若是图太大的话须要压缩，这里像素的阈值能够本身设置
            img = cv2.resize(img, (0,0), fx=0.5, fy=0.5)
        dets = detector(img, 1)                                                                     #使用检测算子检测人脸，返回的是全部的检测到的人脸区域
        for k, d in enumerate(dets):
            rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
            shape = sp(img, rec)                                                                    #获取landmark
            face_descriptor = facerec.compute_face_descriptor(img, shape)                           #使用resNet获取128维的人脸特征向量
            faceArray = np.array(face_descriptor).reshape((1, 128))                                 #转换成numpy中的数据结构
            data = np.concatenate((data, faceArray))                                                #拼接到事先准备好的data当中去
            label.append(labelName)                                                                 #保存标签
            cv2.rectangle(img, (rec.left(), rec.top()), (rec.right(), rec.bottom()), (0, 255, 0), 2)       #显示人脸区域
        cv2.waitKey(2)
        cv2.imshow('image', img)

data = data[1:, :]                                                                                  #由于data的第一行是空的128维向量，因此实际存储的时候从第二行开始
np.savetxt('faceData.txt', data, fmt='%f')                                                          #保存人脸特征向量合成的矩阵到本地

labelFile=open('label.txt','w')                                      
json.dump(label, labelFile)                                                                         #使用json保存list到本地
labelFile.close()

cv2.destroyAllWindows()                                                                             #关闭全部的窗口

 

上面的代码中，会索引imagePath这个存放图像的目录；而后定义一个128维的空向量data，在后续获取每一张人脸特征向量的时候能够往这个向量后面追加，即data的每一行是一个样本的特征向量；而后定义一个list来存储标签。以后开始索引某个目录下全部的图片文件。注意我这里用的是opencv的接口读取图像，也可使用其余的图像读取接口，好比dlib自带的或者PIL接口中的，均可以使用，不太重要的是接口必定要统一，由于每一个接口读取图片转成矩阵的数值可能会有差别。而后使用前面定义的测算子开始检测人脸，返回的是dlib中的一个数据结构，这个数据结构存储了全部检测到的人脸区域信息，对每一个检测到的人脸区域获取landmark，而且调用深度残差模型的接口获取128维的人脸特征向量，以后咱们把这我的脸向量存储到data中去，这里使用numpy中提供的concatenate方法进行拼接，同时把标签添加到label列表中去。最后，由于data事先定义的是一个128维的空向量，以后利用concatenate方法进行拼接获得，咱们须要抛弃第一行；最后把获得的人脸特征和标签存储到本地文件。

这里使用的是CNN进行人脸检测，若是你没有GPU，或者你有GPU但没有进行GPU的配置，那么速度巨慢，此时你可使用传统的HOG特征+级联分类的方法，不过效果没有CNN的好。这时代码的第6行中模型须要替换成：

detector = dlib.get_frontal_face_detector()

 

其他的基本保持不变。 

以上的代码能够直接运行，运行以后会检测全部的图像，相似于：

而且存取获得本地的人脸特征向量库和标签：

 

（2）实时读取摄像头进行人脸识别

在（1）中咱们已经获得了本地的打过标签的人脸特征向量，这一部分是实现读取摄像头实时识别。首先加载须要的python库：

import dlib
import numpy as np
import cv2
import json

 

而后加载神经网络模型：

detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')
threshold = 0.54

其中threshold是人脸识别的阈值，当测试图片和本地图片欧式距离最近的值大于这个值的时候，咱们认为不属于本都图片的任何一个类别。而后定义最近邻分类器：

def findNearestClassForImage(face_descriptor, faceLabel):
    temp =  face_descriptor - data
    e = np.linalg.norm(temp,axis=1,keepdims=True)
    min_distance = e.min() 
    print('distance: ', min_distance)
    if min_distance > threshold:
        return 'other'
    index = np.argmin(e)
    return faceLabel[index]

 

 当距离值大于threshold的时候咱们返回标签“other”，不然返回本地的标签，你能够根据实际状况来设置这个阈值。题外话，安全阈值很依赖于具体的场合，好比安检、银行里进行人脸验证、iPhone解锁，这些对安全要求很高的场合须要比较小的threshold来保证安全，在嫌犯追踪的时候，须要比较大的threshold以保证由嫌疑的人不会漏过。

而后是读取图像进行识别的函数：

def recognition(img):
    dets = detector(img, 1)
    for k, d in enumerate(dets):
        
        print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
            k, d.rect.left(), d.rect.top(), d.rect.right(), d.rect.bottom()))
        rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
        print(rec.left(),rec.top(),rec.right(),rec.bottom())
        shape = sp(img, rec)
        face_descriptor = facerec.compute_face_descriptor(img, shape)        
        
        class_pre = findNearestClassForImage(face_descriptor, label)
        print(class_pre)
        cv2.rectangle(img, (rec.left(), rec.top()+10), (rec.right(), rec.bottom()), (0, 255, 0), 2)
        cv2.putText(img, class_pre , (rec.left(),rec.top()), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,255,0), 2, cv2.LINE_AA)

    cv2.imshow('image', img)

 

 最后是实时读取摄像头图像，而且进行识别的过程：

labelFile=open('label.txt','r')
label = json.load(labelFile)                                                   #载入本地人脸库的标签
labelFile.close()
    
data = np.loadtxt('faceData.txt',dtype=float)                                  #载入本地人脸特征向量

cap = cv2.VideoCapture(0)
fps = 10
size = (640,480)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
videoWriter = cv2.VideoWriter('video.MP4', fourcc, fps, size)

while(1):
    ret, frame = cap.read()
    #frame = cv2.resize(frame, (0,0), fx=0.5, fy=0.5)
    recognition(frame)
    videoWriter.write(frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    
cap.release()
videoWriter.release()
cv2.destroyAllWindows()

 在上面的代码中为了展现检测的效果，我用opencv的接口把图像保存到了视频当中。识别效果截图：

 

4、总结

利用已有的计算机视觉库能够实现不少好玩和有用的应用，本文只是粗略地展现了一个进行实时人脸识别的demo，还有不少能够改善的点来提升精度和效率，好比人脸受角度、表情影响很大，或者须要处理速度要求更高的场景；同时图像类别规模很大的状况下如何保证效果，如何优化这些都是难点。另外dlib中的提供的这些模型都是已经训练好的，咱们能够到官方demo下载，demo给出了在一些benchmark中的效果，也能够本身训练获得这些模型，固然前提是你须要有GPU，而且要求很大量的数据以及丰富的调参经验，这些也都是深度学习中的点~

（完）