虹软人脸识别 - ArcFace SDK介绍及使用注意事项

不少朋友在开发人脸识别系统的时候，会遇到各类各样的问题，如今咱们以安卓平台使用虹软的免费离线人脸识别SDK开发为例，给你们介绍一下如何开发一个带有图片的人脸检测、视频画面的人脸属性检测、人脸注册识别等功能的人脸识别系统。

1、获取SDK

1.进入ArcFace2.0的申请地址

https://ai.arcsoft.com.cn/product/arcface.html

2.填写信息申请并提交

申请经过后便可下载SDK，查看APP_ID和SDK_KEY

<br/>

2、SDK功能介绍

虹软ArcFace 2.0 Android SDK包含人脸检测、年龄信息检测、性别信息检测、人脸三维角度检测、活体检测、人脸特征提取、人脸特征比对功能。SDK还支持静态图模式的检测方式和视频流模式的检测方式。

<br/>

3、使用SDK

1. 工程配置

将jar文件和so文件放到对应目录，并将jar添加至工程依赖

<br/>

2. 激活引擎

FaceEngine faceEngine = new FaceEngine();

//激活方法首次调用有网络和文件操做，后续只有文件操做，建议不要放在主线程中进行

int activeCode = faceEngine.active(SettingsActivity.this, Constants.APP_ID, Constants.SDK_KEY);

if (activeCode == ErrorInfo.MOK || activeCode == ErrorInfo.MERR_ASF_ALREADY_ACTIVATED) {

    //激活成功或者已激活过的状况

}else{

    //激活失败的状况

}

3. 初始化引擎，推荐在启动时执行

faceEngine = new FaceEngine();

int afCode = faceEngine.init(context.getApplicationContext(), FaceEngine.ASF_DETECT_MODE_VIDEO, FaceEngine.ASF_OP_0_HIGHER_EXT,

        16, 10, FaceEngine.ASF_FACE_RECOGNITION | FaceEngine.ASF_FACE_DETECT | FaceEngine.ASF_FACE3DANGLE|....);

if (afCode != ErrorInfo.MOK) {

    //初始化成功

}else{

    //初始化失败

}

4. 人脸检测

List faceInfoList = new ArrayList<>();

int code = faceEngine.detectFaces(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList);

if (code == ErrorInfo.MOK && faceInfoList.size() >0) {

    //人脸检测成功而且检测到了人脸的状况

}else{

    //人脸检测失败或未检测到人脸的状况

}

5. 特征提取

FaceFeature faceFeature = new FaceFeature();

int code = faceEngine.extractFaceFeature(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfo, faceFeature);

if (code == ErrorInfo.MOK) {

    //特征提取成功

}else{

    //特征提取失败，可根据code查看缘由

}

6. 特征比对

public void compareFace(FaceFeature faceFeature1,FaceFeature faceFeature2){

    FaceSimilar faceSimilar = new FaceSimilar();

    int code = faceEngine.compareFaceFeature(faceFeature1, faceFeature2, faceSimilar);

    if (code == ErrorInfo.MOK){

        //比对成功，可查看faceSimilar中的类似度

    }else{

        //比对失败，可根据code查看缘由

    }

}

7. 活体、人脸三维角度、年龄、性别检测

int faceProcessCode = faceEngine.process(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList, FaceEngine.ASF_AGE | FaceEngine.ASF_GENDER | FaceEngine.ASF_FACE3DANGLE | FaceEngine.ASF_LIVENESS);

if (faceProcessCode != ErrorInfo.MOK){

    //失败的状况

}else{

    //process成功，可获取结果

    List ageInfoList = new ArrayList<>();

    List genderInfoList = new ArrayList<>();

    List face3DAngleList = new ArrayList<>();

    List faceLivenessInfoList = new ArrayList<>();

    int ageCode = faceEngine.getAge(ageInfoList);

    int genderCode = faceEngine.getGender(genderInfoList);

    int face3DAngleCode = faceEngine.getFace3DAngle(face3DAngleList);

    int livenessCode = faceEngine.getLiveness(faceLivenessInfoList);

    //错误码校验，判断是否所有成功

    if ((ageCode | genderCode | face3DAngleCode | livenessCode) != ErrorInfo.MOK) {

        return;

    }else{

        //所有检测成功，可从ageInfoList ，genderInfoList ，face3DAngleList ，faceLivenessInfoList 中获取检测结果

    }

}

8. 销毁引擎，推荐在退出时执行

if (faceEngine != null) {

  int faceEngineCode = faceEngine.unInit();

  Log.i(TAG, "unInitEngine: " + faceEngineCode);

}

<br/>

4、注意事项

1.检测模式的选择

引擎的初始化中须要传入检测模式（ 视频流模式 或 图片模式 ），除了识别功能模块（extractFaceFeature和compareFaceFeature）的其余功能都是有检测模式区分的，对于人脸检测、年龄检测、性别检测、人脸三维角度、活体检测，使用视频流模式处理速度更快。可是视频流模式的活体检测比较特殊：虽然处理后立刻能获取结果，可是一段视频流的首帧传入后返回的值为未知，在一段时间后开始拿到的值才是真正的算法结果。

2.引擎的多线程使用

单个引擎的同一功能模块中的算法功能函数不支持多线程调用，且调用过程当中不能进行销毁。若需多线程调用，须要建立多个引擎。

举几个例子：

• 在线程1进行人脸检测(detectFaces)时能够在线程2同时进行特征解析(extractFaceFeature)。

• 在线程1进行人脸检测(detectFaces)时不能够在线程2同时进行人脸检测(detectFaces)。

• 在线程1进行特征解析(extractFaceFeature)时不能够在线程2同时进行销毁(unInit)

3.运行时报java.lang.UnsatisfiedLinkError

java.lang.UnsatisfiedLinkError是很常见的jni相关错误，若出现该错误，缘由通常有如下几种：

• Android工程目录下动态库文件目录下相关动态库不全或动态库文件目录下有多个ABI子目录，可是子目录中的文件列表不一样

详细介绍：
首先，应用安装到设备时，只有该设备的CPU架构支持的最优so库才会被拷贝到本地lib中。例如某个工程的本地库目录中，armeabi-v7下包含四个动态库文件:a.so,b.so,c.so,d.so，arm64-v8a下包含两个动态库文件：c.so,d.so。某台设备支持arm64-v8a，arm64-v8a优于armeabi-v7，因而在安装时只拷贝了arm64-v8a目录下的so文件，加载c.so，d.so时并无问题，可是在加载a.so或b.so时，因为arm64-v8a目录下无这些文件，就会报java.lang.UnsatisfiedLinkError。
如下是动态库文件存放的一些可能状况：

解决方案：
若是未在build.gradle中从新指定动态库的目录，那么动态库的默认路径将是：projectName->moduleName->src->main->jniLibs。
确保动态库目录下的armeabi-v7a目录或兼容armeabi-v7a的目录包含ArcFace 2.0 Android SDK相关的动态库文件，且每一个ABI目录下的文件名称列表相同。

• 动态库文件虽然成功加载，可是找不到对应的native方法

详细介绍：
例如在com.arcsoft.Test类中有一个方法定义为:
private native int add(int a,int b)，
而在编写C++代码时对应的内容为：
extern "C" JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b, jint c)，
native定义的方法多了一个参数，对应的Java方法将是private native int add(int a, int b, int c)，二者的方法签名不一致，所以在Java中调用add时将找不到native对应的方法。

解决方案：
通常在使用SDK时候若产生这一问题都是用了不一样版本或不一样平台下的jar或动态库，为了确保方法签名一致，请确认jar和动态库文件是相同平台相同版本中的文件。

• 在Java中定义了相关的native方法，可是未加载动态库文件

详细介绍：
例如在com.arcsoft.Test类中有一个方法定义为:
private native int add(int a,int b)，
而对应的C++代码中有一个方法为：
extern "C" JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b)，可是却一直没法加载，则也多是没有加载动态库才致使没法找到native方法。

解决方案：
在调用so文件前须要加载动态库，通常在类的一个静态代码块中调用。

<br/>

参考文档：

Android平台开发指南：

https://ai.arcsoft.com.cn/man...

API接口说明

http://ai.arcsoft.com.cn/stat...