Android 基于人脸识别 SDK使用总结

体验了虹软开放人脸识别的SDK引擎（免费的哦），恰好有Android版的。下面来讲说Android版的SDK使用心得：java

ArcFace 虹软人脸认知引擎简介数据库

目前开放的版本有人脸比对（1:1）和人脸检索（1：N），根据应用场景可选择
人脸检索分为小型网络（检测100人内），中型网络（1000人内），大型网络（需联系虹软官方）
目前开放的功能有人脸比对，人脸识别，人脸追踪
**关于如何使用**网络

在官网下载SDK引擎后集成到你的项目中，而后我在此举例说下其中一个sample:人脸识别
官方sample是这样的:

AFR_FSDKInterface engine = new AFR_FSDKEngine();

//用来存放提取到的人脸信息, face_1 是注册的人脸，face_2 是要识别的人脸
AFR_FSDKFace face1 = new AFR_FSDKFace();
AFR_FSDKFace face2 = new AFR_FSDKFace();

//初始化人脸识别引擎，使用时请替换申请的 APPID 和 SDKKEY
AFR_FSDKError error = engine.AFR_FSDK_InitialEngine("APPID", "SDKKEY");
Log.d("com.arcsoft", "AFR_FSDK_InitialEngine = " + error.getCode());

//输入的 data 数据为 NV21 格式（如 Camera 里 NV21 格式的 preview 数据）；人脸坐标通常使用人脸检测返回的 Rect 传入；人脸角度请按照人脸检测引擎返回的值传入。
error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 178, 478, 446), AFR_FSDKEngine.AFR_FOC_0, face1);
Log.d("com.arcsoft", "Face=" + face1.getFeatureData()[0]+ "," + face1.getFeatureData()[1] + "," + face1.getFeatureData()[2] + "," + error.getCode());

error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 170, 470, 440), AFR_FSDKEngine.AFR_FOC_0, face2);
Log.d("com.arcsoft", "Face=" + face2.getFeatureData()[0]+ "," + face2.getFeatureData()[1] + "," + face2.getFeatureData()[2] + "," + error.getCode());

//score 用于存放人脸对比的类似度值
AFR_FSDKMatching score = new AFR_FSDKMatching(); error = engine.AFR_FSDK_FacePairMatching(face1, face2, score); Log.d("com.arcsoft", "AFR_FSDK_FacePairMatching=" + error.getCode()); Log.d("com.arcsoft", "Score:" + score.getScore());

//销毁人脸识别引擎
error = engine.AFR_FSDK_UninitialEngine();
Log.d("com.arcsoft", "AFR_FSDK_UninitialEngine : " + error.getCode());

代码中的注释已经解释得很清楚了，这是再说下这个NV21格式的data数据。关于NV21是什么东西，请戳https://msdn.microsoft.com/en-us/library/aa904813
**使用场景**
人脸识别一种场景能够是实时摄像取景，便可以在相机的预览界面里进行。在Android的Camera里有这样一个回调:ide

mCamera.setPreviewCallback(new Camera.PreviewCallback() {
@Override
public void onPreviewFrame(byte[] data, Camera camera) {
//这里的data数据就是NV21格式，能够在这里处理人脸检测 
}
});

注意：Camera里的PictureCallback()，也就是咱们拍照的回调，里面也有个data,可是这里的data格式不是NV21的，因此在这里传入的data是不能处理人脸识别的工具

人脸检测还能够利用已有的图像进行检测，可是注意，Android里对图像处理的接口最经常使用的是BitMap吧。咱们须要把BitMap解码为RGB转为NV21才能检测图像中的人脸。这里提供一种转换工具类，固然大神能够无视这个本身写哈：测试

public static byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) throws Exception {

int[] argb = new int[inputWidth * inputHeight];

scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);

byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];
encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
scaled.recycle();
return yuv;
}

public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) throws Exception {
final int frameSize = width * height;

int yIndex = 0;
int uvIndex = frameSize;

int a, R, G, B, Y, U, V;
int index = 0;
for (int j = 0; j < height; j++) {
for (int i = 0; i < width; i++) {

a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
R = (argb[index] & 0xff0000) >> 16;
G = (argb[index] & 0xff00) >> 8;
B = (argb[index] & 0xff) >> 0;

// well known RGB to YUV algorithm
Y = ((66 * R + 129 * G + 25 * B + 128) >> 8) + 16;
U = ((-38 * R - 74 * G + 112 * B + 128) >> 8) + 128;
V = ((112 * R - 94 * G - 18 * B + 128) >> 8) + 128;

// NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
// meaning for every 4 Y pixels there are 1 V and 1 U. Note the sampling is every other
// pixel AND every other scanline.
yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
if (j % 2 == 0 && index % 2 == 0) {
yuv420sp[uvIndex++] = (byte) ((V < 0) ? 0 : ((V > 255) ? 255 : V));
yuv420sp[uvIndex++] = (byte) ((U < 0) ? 0 : ((U > 255) ? 255 : U));
}

index++;
}
}
}

关于实测效果（用的小型网络版本，仅表明我的意见）优化

人脸检测速度很快，大概几十毫秒就能检测出人脸信息，20多张人脸的图像只有1-2个检测不到。
人脸识别这个功能，在特征值提取上会慢点，大概须要100毫秒以上，不过由于用的是小型网络（人数100如下达到最佳），因此这个速度也是彻底能够知足应用的。关于人脸注册方式，能够自行建网或建云，固然采用本地化也是能够的，用数据库和文件等多种方式都可注册人脸。
人脸追踪看了下接口跟人脸检测的接口是彻底同样的，没有测试不做评价。
总结code

虹软免费开放SDK引擎这点很赞
引擎暂不支持人脸信息特征值合成，只能经过注册多张人脸来解决
这个引擎二次开发的可拓展性是很强的，开发者能够根据本身的应用场景去拓展功能，这样能够保证引擎的纯洁度、可拓展性
又GET到不少干货
还没探索到1：N状况下高效识别的方法，目前遍历数据库人脸信息做比对人数多的话识别速度应该会慢不少，请问有高人指导下如何优化不？
还不行，还得再继续努力
下面是sdk下载地址https://ai.arcsoft.com.cn/ucenter/user/reg?utm_source=csdn1&utm_medium=referralblog