Tengine是一个优秀的轻量级端侧/嵌入式环境深度神经网络推理引擎。兼容多种操做系统和深度学习算法,以AI推理框架为基础的AIoT开发套件。本文档将分别在x86 Linux和Arm64 Linux平台,以分类模型(TensorFlow MobileNetv1模型)为例,带你快速上手Tengine。java
Linux x86 平台编译
下载代码
$ git clone https://github.com/OAID/tengine/
安装所需工具和依赖库
在开始编译Tengine以前,你须要确认你已经安装了cmake,g++,若是没有,你能够经过以下指令安装:linux
$ sudo apt install cmake g++
进入tengine目录,执行编译脚本
$ cd /path/to/Tengine $ mkdir build $ cd build $ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/x86.gcc.toolchain.cmake .. $ make -j4 && make install
编译完成后,在build目录下若是有libtengine.so文件,说明编译成功。ios
qtang@tengine-train:~/github/Tengine/build$ ls benchmark CMakeCache.txt CMakeFiles cmake_install.cmake examples libtengine.so Makefile tests
arm64 Linux 平台编译
arm64 Linux编译方式与x86平台相似c++
下载代码
$ git clone https://github.com/OAID/tengine/
安装所需工具
$ sudo apt install cmake g++
进入tengine目录,执行编译脚本
$ cd /path/to/Tengine $ mkdir build $ cd build $ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/arm64.native.gcc.toolchain.cmake .. $ make -j4 && make install
编译完成后,在build目录下若是有libtengine.so文件,说明编译成功。git
转换模型
二进制工具
- 咱们提供模型转换工具convert_model_to_tm,方便您将Tensorflow/Caffe/MxNet/ONNX等框架模型转换成Tengine模型格式tmfile:
convert_model_to_tmgithub
- 若采用源码编译,编译完成后该工具的存放路径在
$ tree install/ install/ ├── benchmark │ ├── bench_mobilenet │ └── bench_sqz ├── convert_tools │ └── convert_model_to_tm (here!)
模型仓库
咱们提供了常见开源模型的tmfile文件,您能够在这里找到他们:算法
Tengine Model zoo(Password : hhgc)api
模式转换demo
使用convert_model_to_tm将mobilenet.pb模型转换成Tengine模型很是简单,执行如下命令:网络
$ ./convert_model_to_tm -f tensorflow -m ./mobilenet.pb -o ./mobilenet_tf.tmfile
其中:框架
$ ./install/convert_tools/convert_model_to_tm -h [Usage]: ./install/convert_tools/convert_model_to_tm [-h] [-f file_format] [-p proto_file] [-m model_file] [-o output_tmfile] -f:模型框架类型[caffe、caffe_single、onnx、mxnet、tensorflow、darknet、tflite],当输入只有一个模型文件时,不须要指定“-p”选项,只指定“-m”选项便可。这里咱们使用的是tensorflow mobilenet模型,所以设置该参数为tensorflow -m:源模型路径 -o:转换后Tengine模型路径 // 转换Caffe Model $ ./install/tool/convert_model_to_tm -f caffe -p models/sqz.prototxt -m models/squeezenet_v1.1.caffemodel -o models/squeezenet.tmfile // 转换TensorFlow Model $ ./install/tool/convert_model_to_tm -f tensorflow -m models/squeezenet.pb -o models/squeezenet_tf.tmfile
须要注意的是,convert_model_to_tm只能在Linux x86平台上编译或运行,同时编译的时候依赖protobuf第三库(>= 3.0),须要提早安装
$ sudo apt-get install libprotobuf-dev protobuf-compiler
当拿到Tengine模型文件如Mobilenet.tmfile以后,就能够用Tengine在各类平台上愉快的进行应用开发了。
经常使用API介绍
Tengine核心API以下:
- init_tengine
初始化Tengine,该函数在程序中只要调用一次便可。
- create_graph
建立Tengine计算图。
- prerun_graph
预运行,准备计算图推理所需资源。
- run_graph
启动Tengine计算图推理。
- postrun_graph
中止运行graph,并释放graph占据的资源。
- destroy_graph
销毁graph。
postrun_graph和destroy_graph在执行完模型推理后调用,通常是连续调用。
使用Tengine C API开发mobilenet图片分类代码
Tengine提供了C、C++、Python API供用户使用,这里咱们使用Tengine C++ API展现如何运行MobileNetv1网络模型实现图片分类功能,让你快速上手Tengine C++ API。代码中咱们将使用详细的代码注释,方便你熟悉Tengine核心API的功能,更快地开发出本身的代码。这里,咱们使用行业内无人不识,无人不晓的tiger cat图片做为测试图片。
测试代码
完整的测试代码以下:
#include <unistd.h> #include <iostream> #include <functional> #include <algorithm> #include <fstream> #include <iomanip> #include "tengine_operations.h" #include "tengine_c_api.h" #include "tengine_cpp_api.h" #include "common_util.hpp" const char* model_file = "./models/mobilenet.tmfile"; const char* image_file = "./tests/images/cat.jpg"; const char* label_file = "./models/synset_words.txt"; const float channel_mean[3] = {104.007, 116.669, 122.679}; using namespace TEngine; int repeat_count = 100; void LoadLabelFile(std::vector<std::string>& result, const char* fname) { std::ifstream labels(fname); std::string line; if(labels.is_open()) { while(std::getline(labels, line)) result.push_back(line); } } void PrintTopLabels(const char* label_file, float* data) { // load labels std::vector<std::string> labels; LoadLabelFile(labels, label_file); float* end = data + 1000; std::vector<float> result(data, end); std::vector<int> top_N = Argmax(result, 5); for(unsigned int i = 0; i < top_N.size(); i++) { int idx = top_N[i]; if(labels.size()) std::cout << std::fixed << std::setprecision(4) << result[idx] << " - \"" << labels[idx] << "\"\n"; else std::cout << std::fixed << std::setprecision(4) << result[idx] << " - " << idx << "\n"; } } void get_input_data(const char* image_file, float* input_data, int img_h, int img_w, const float* mean, float scale) { image img = imread(image_file); image resImg = resize_image(img, img_w, img_h); resImg = rgb2bgr_premute(resImg); float* img_data = ( float* )resImg.data; int hw = img_h * img_w; for(int c = 0; c < 3; c++) for(int h = 0; h < img_h; h++) for(int w = 0; w < img_w; w++) { input_data[c * hw + h * img_w + w] = (*img_data - mean[c]) * scale; img_data++; } } int main(int argc, char* argv[]) { std::string device = ""; std::string file_path = ""; char* cpu_list_str = nullptr; int res; while((res = getopt(argc, argv, "p:d:f:r:")) != -1) { switch(res) { case 'p': cpu_list_str = optarg; break; case 'd': device = optarg; break; case 'f': file_path = optarg; break; case 'r': repeat_count = strtoul(optarg, NULL, 10); break; default: break; } } int img_h = 224; int img_w = 224; tengine::Net mobilenet; tengine::Tensor input_tensor; tengine::Tensor output_tensor; /* load model */ mobilenet.load_model(NULL, "tengine", model_file); /* prepare input data */ input_tensor.create(img_w, img_h, 3); get_input_data(image_file, (float* )input_tensor.data, img_h, img_w, channel_mean, 0.017); mobilenet.input_tensor("data", input_tensor); /* forward */ mobilenet.run(); /* get result */ mobilenet.extract_tensor("fc7", output_tensor); /* after process */ PrintTopLabels(label_file, (float*)output_tensor.data); std::cout << "--------------------------------------\n"; std::cout << "ALL TEST DONE\n"; return 0; }
编译
build.sh编译脚本默认配置已实现自动编译examples中的demo程序,以x86平台为例,demo存放在./build-linux-x86/install/examples/目录下。
./build-linux-x86/install/ ├── benchmark │ ├── bench_mobilenet │ └── bench_sqz ├── examples │ ├── classification │ ├── mobilenet_ssd │ └── synset_words.txt
运行结果
将测试图片和分类标签文件放在指定目录下,运行便可:
export LD_LIBRARY_PATH=./build-linux-x86/install/lib cd ./build-linux-x86/install/examples/ $ ./classification -m /path/to/mobilenet.tmfile -l /path/to/labels.txt -i /path/to/img.jpg -g 224,224 -s 0.017 -w 104.007,116.669,122.679 -------------------------------------- 0.3465 - "tiger cat" 0.1609 - "tabby" 0.1564 - "weasel" 0.0844 - "Egyptian cat" 0.0258 - "bucket" -------------------------------------- ALL TEST DONE
能够看出,咱们已经成功的分类出测试图片是虎猫了。 到这里最基本的上手指北已经完成,剩下的小伙伴们能够自行探索,咱们也会不按期更新各类教程范例给你们~
...\(^0^)/...233
更多资讯欢迎关注公众号Tengine开发者社区,拜了个拜