当微信小程序赶上TensorFlow：Server端实现

又是一年一度的十一黄金旅游周，你是在景区看人从众叕，仍是在高速公路上观看大妈打太极呢？旅游黄金周我通常是尽可能不出门，这个十一也不例外。十月一日跑了一个半马迎接国庆，十月二号选择去了一个偏门的景点：张之洞与武汉博物馆。今天则宅在家，吃吃喝喝之余，琢磨起识别狗狗的微信小程序。

自打想到开发一款识别狗狗的app，个人第一直觉是应该开发一款微信小程序。相对于手机原生app，微信小程序具备开发和部署简单，特别是无需安装，即用即走，特别适合这种功能单一，偶尔用一用的app。

实现方案，首先想到的是TensorFlow.js，手机端实现深度学习，无需服务器端，可是TensorFlow.js并不支持微信小程序，无奈只得选择小程序 + server的模式。而我并不擅长web + server的开发，因此在《这个中秋，我开发了一个识别狗狗的app》中谈到，我先使用TensorFlow Lite实现了一个Android App。这个Android App 更多的是一个实验性的项目，这个国庆节，空余时间比较多，决定整一整微信小程序。

由于采用端加server的模式，图片识别在server端完成，因此主要功能实如今server端。咱们就先来谈一谈Server端的实现。

TensorFlow Serving

Server端的实现方案有好多种，C++/Java/Python均可以，我一度甚至考虑采用Node.js实现。上周浏览Google开发者大会资料时发现，TensorFlow已经提供了服务器部署方案: TensorFlow Serving。

TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。 TensorFlow Serving能够轻松部署新算法和实验，同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的一揽子集成方案，也能够轻松扩展以服务于其余类型的模型。

详细资料请访问： tensorflow.google.cn/serving/

TensorFlow Serving正在不断完善中，直接参考示例并不能实现须要的功能，在多方查找资料以后，终于把整个流程走通。

SavedModel

TensorFlow提供两种模型格式：

• checkpoints，这是一种依赖于建立模型的代码的格式。
• SavedModel，这是一种独立于建立模型的代码的格式。

SaveModel是一种与语言无关，可恢复的密封式序列化格式。TensorFlow提供了多种与SavedModel交互的机制，如tf.saved_model API、Estimator API和CLI。TensorFlow Serving须要使用SavedModel格式的模型文件。

retrain并保存为SavedModel

在《这个中秋，我开发了一个识别狗狗的app》一文中提到，咱们不须要从头训练识别狗狗的深度学习模型，而是采用迁移学习，在现有模型的基础上再训练。考虑到模型是部署到服务器端，因此我选择了识别能力更强的Inception V3模型。

带标签的狗狗数据集采用stanford dog datasets，请自行下载并解压，而后执行以下命令进行训练：

python retrain.py --image_dir=./Images --saved_model_dir=models/inception_v3
复制代码

训练的模型保存于models/inception_v3/1，其中1是版本号，能够经过retrain.py脚本的命令行参数进行指定。

安装tensorflow model server

在Ubuntu下这个很是容易，只须要使用下面的命令便可：

sudo apt install tensorflow-model-server
复制代码

为了开发方便，须要安装TensorFlow Serving Python API:

pip install tensorflow-serving-api
复制代码

启动tensorflow model server

按照文档，启动tensorflow model server很是简单，这里加上rest_api_port参数是启动server，并提供RESTful API，这种API接口方便微信小程序与之进行通讯。

tensorflow_model_server --rest_api_port=8501 --model_base_path=$PWD/models/inception_v3
复制代码

可是经过这种方法启动tensorflow model server，整了半天也没有和client进行上通信，正在束手无策的时候，看到github上的一个项目：github.com/tobegit3hub…

简单说，Simple TensorFlow Serving是一个TensorFlow Serving的封装，是机器学习模型的通用且易于使用的服务。

其野心也很大，号称支持以下功能：

• 支持分布式TensorFlow模型
• 支持常规RESTful / HTTP API
• 支持GPU加速推理
• 支持curl和其余命令行工具
• 支持客户端使用任何编程语言
• 支持自动生成客户端代码，无需编码
• 支持图像模型中使用原始图片文件进行推断
• 支持详细请求的统计指标
• 支持同时为多个模型提供服务
• 支持动态的在线和离线模型版本
• 支持为TensorFlow模型加载新的自定义操做
• 经过可配置的基自己份验证支持安全身份验证
• 支持TensorFlow / MXNet / PyTorch / Caffe2 / CNTK / ONNX / H2o / Scikit-learn / XGBoost / PMML 等多种模型

我最看中的就是它的自动生成客户端代码功能，在没有这个以前，我查找了不少资料，都没有搞定客户端与服务端之间的通讯。另外它还提供了一个web界面，能够查看模型的结构以及signature（签名），这个signature也是折腾了我很久都没有搞定的。

浏览器访问: http://127.0.0.1:8500，web界面以下：

Simple TensorFlow Serving的安装很是简单：

pip install simple_tensorflow_serving
复制代码

接下来启动server：

simple_tensorflow_serving --model_base_path="./models/inception_v3" &
复制代码

客户端

微信小程序的开发尚未开始学，先用python写一个客户端先测试一下，咱们可使用自动生成客户端代码功能：

curl http://localhost:8500/v1/models/default/gen_client?language=python > test_client.py
复制代码

自动生成的代码以下：

#!/usr/bin/env python

import requests

def main():
  endpoint = "http://ilego.club:8500"
  json_data = {"model_name": "default", "data": {"image": [[[[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0]]]]}}
  result = requests.post(endpoint, json=json_data)
  print(result.text)

if __name__ == "__main__":
  main()
复制代码

能够看出，客户端向server端post一段JSON数据，并获取结果。在这段代码的基础上进行修改，加入图片读取，图片缩放并转换为JSON格式数据，即完成测试客户端代码，代码请参考： github.com/mogoweb/aie…

能够尝试测试一张狗狗图片：

python test_client.py --image=./Images/n02116738-African_hunting_dog/n02116738_1105.jpg
复制代码

结果以下：

n02116738 african hunting dog 0.780203342438
n02115913 dhole 0.0102733308449
n02092002 scottish deerhound 0.00600153999403
复制代码

前面是类别标签，后面是属于某个类别的几率，上面结果中Top 1几率0.78。

总结

这个服务器端远尚未达到完善，还存在一下问题：

1. 客户端与服务器端的图片采用JSON格式传递，图像数据由二进制转为JSON字符串，空间效率低，后面考虑对图像数据进行base64编码。
2. 预测的效率比较第，从发出请求到收到回应，有几十秒的时间，尚未查找瓶颈在何处。
3. 并发支持，由于如今只是一个简单的测试，若是考虑到产品阶段，多个手机的微信小程序同时进行识别，这仍是会有不少工做须要作的。

好了，关于服务端的开发部署就先到这里，下一篇文章我将谈谈微信小程序的开发和与server端的通讯，敬请关注！

本文完整代码请参考：github.com/mogoweb/aie…