基于nccn和mtcnn和facenet实现人脸识别（Android）

ncnn

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深入考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前全部已知的开源框架。基于 ncnn，开发者可以将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，每天P图等。

mtcnn

基于神经网络计算的开源人脸检测

facenet

基于神经网络计算的开源人脸识别

mtcnn和facenet具体介绍能够google一下

建立Android工程，编辑CMakeLists.txt文件

修改build.gradle,添加ndk环境

android {
    .....
    defaultConfig {
        ........
        externalNativeBuild {
            cmake {
                arguments "-DANDROID_TOOLCHAIN=clang"
                cFlags "-fopenmp -O2 -fvisibility=hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
                cppFlags "-fopenmp -O2 -fvisibility=hidden -fvisibility-inlines-hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
                arguments "-DANDROID_STL=c++_shared", "-DANDROID_CPP_FEATURES=rtti exceptions"
                cppFlags ""
                cppFlags "-std=c++11"
                cppFlags "-frtti"
                cppFlags "-fexceptions"
            }
        }
        ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a' //,'x86', 'x86_64', 'armeabi'
            stl "gnustl_static"
        }
    }
    compileOptions {
        targetCompatibility JavaVersion.VERSION_1_8
        sourceCompatibility JavaVersion.VERSION_1_8
    }
    ........
    externalNativeBuild {
        cmake {
            path "CMakeLists.txt"
            version "3.10.2"
        }
    }
}

复制代码

而后在build.gradle的统计目录下添加CMakeLists.txt

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

cmake_minimum_required(VERSION 3.4.1)

include_directories(src/main/cpp/opencv2
        src/main/cpp/opencv
        src/main/cpp/include
        src/main/cpp/)

file(GLOB MTCNN_SRC src/main/cpp/*.h
        src/main/cpp/*.cpp
        src/main/cpp/mtcnn.cpp
        src/main/cpp/mobilefacenet.cpp
        src/main/cpp/mtcnn_jni.cpp)

set(MTCNN_COMPILE_CODE ${MTCNN_SRC})

add_library(mtcnn SHARED ${MTCNN_COMPILE_CODE})

add_library(libopencv_java3 SHARED IMPORTED)
set_target_properties(libopencv_java3 PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libopencv_java3.so)

add_library(libncnn STATIC IMPORTED)
set_target_properties(libncnn
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libncnn.a)

find_library(log-lib log)

target_link_libraries(
        mtcnn
        libopencv_java3
        libncnn
        jnigraphics
        z
        ${log-lib})
复制代码

添加so文件

• 在src的main文件夹下建立jniLibs,而后对应的ABI文件夹下添加libopencv_java3.so和libncnn.a

• 或者添加到其余位置，在build.gradle中指定jinLibs也是能够的

cpp文件夹

• 在src的main文件夹下建立cpp文件夹
• 须要用到ncnn和opencv,将ncnn的include和opencv的opencv和opencv2这三个文件夹复制到cpp文件夹下
• 编写mtcnn.cpp和mobilefacenet.cpp以及mtcnn_jni.cpp
• 具体代码见后面

将模型文件放入assets文件夹

将模型文件*.bin,*.param,放入assets文件夹，而且经过java代码传入NDK中初始化。

最后写demo测试运行便可

性能

在RK3288上测试能够达到20帧

代码地址：android_face_ncnn