TensorFlow Serving入门

你们习惯使用TensorFlow进行模型的训练、验证和预测，但模型完善以后的生产上线流程，就变得五花八门了。针对这种状况Google提供了TensorFlow Servering，能够将训练好的模型直接上线并提供服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlow Serving。
传送门：https://www.youtube.com/watch?v=q_IkJcPyNl0&list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv&index=13
但那时候客户端和服务端的通讯只支持gRPC。在实际的生产环境中比较普遍使用的C/S通讯手段是基于RESTfull API的，幸运的是从TF1.8之后，TF Serving也正式支持RESTfull API通讯方式了。

服务框架

 

TF Serving服务框架

基于TF Serving的持续集成框架仍是挺简明的，基本分三个步骤：

• 模型训练
  这是你们最熟悉的部分，主要包括数据的收集和清洗、模型的训练、评测和优化；
• 模型上线
  前一个步骤训练好的模型在TF Server中上线；
• 服务使用
  客户端经过gRPC和RESTfull API两种方式同TF Servering端进行通讯，并获取服务；

TF Serving工做流程

 

TF Serving工做流程

TF Serving的工做流程主要分为如下几个步骤：

• Source会针对须要进行加载的模型建立一个Loader，Loader中会包含要加载模型的所有信息；
• Source通知Manager有新的模型须要进行加载；
• Manager经过版本管理策略（Version Policy）来肯定哪些模型须要被下架，哪些模型须要被加载；
• Manger在确认须要加载的模型符合加载策略，便通知Loader来加载最新的模型；
• 客户端像服务端请求模型结果时，能够指定模型的版本，也可使用最新模型的结果；

简单示例

TF Serving客户端和服务端的通讯方式有两种（gRPC和RESTfull API）

示例（一）：RESTfull API形式

1. 准备TF Serving的Docker环境

目前TF Serving有Docker、APT（二级制安装）和源码编译三种方式，但考虑实际的生产环境项目部署和简单性，推荐使用Docker方式。

#  docker pull tensorflow/serving

2. 下载官方示例代码

示例代码中包含已训练好的模型和与服务端进行通讯的客户端（RESTfull API形式不须要专门的客户端）

# mkdir -p /tmp/tfserving
# cd /tmp/tfserving
# git clone https://github.com/tensorflow/serving

3. 运行TF Serving

# docker run -p 8501:8501 \
  --mount type=bind,\
   source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,\
target=/models/half_plus_two \
-e MODEL_NAME=half_plus_two -t tensorflow/serving &

这里须要注意的是，较早的docker版本没有“--mount”选项，好比Ubuntu16.04默认安装的docker就没有（个人环境是Ubuntu 18.04）。

4.客户端验证

# curl -d '{"instances": [1.0, 2.0, 5.0]}' \
  -X POST http://localhost:8501/v1/models/half_plus_two:predict

返回结果，

# { "predictions": [2.5, 3.0, 4.5] }

示例（二）：gRPC形式

1. 准备TF Serving的Docker环境

目前TF Serving有Docker、APT（二级制安装）和源码编译三种方式，但考虑实际的生产环境项目部署和简单性，推荐使用Docker方式。

#  docker pull tensorflow/serving

2. 下载官方示例代码

# mkdir -p /tmp/tfserving
# cd /tmp/tfserving
# git clone https://github.com/tensorflow/serving

3. 模型编译

# python tensorflow_serving/example/mnist_saved_model.py models/mnist

4. 运行TF Serving

# docker run -p 8500:8500 \
--mount type=bind,source=$(pwd)/models/mnist,target=/models/mnist \
-e MODEL_NAME=mnist -t tensorflow/serving

这里须要注意的是，较早的docker版本没有“--mount”选项，好比Ubuntu16.04默认安装的docker就没有（个人环境是Ubuntu 18.04）。

4.客户端验证

# python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=127.0.0.1:8500

返回结果，

#  Inference error rate: 11.13%

这里须要注意的是，直接运行mnist_client.py会出现找不到“tensorflow_serving”的问题，须要手动安装，

# pip install tensorflow-serving-api

资料参考

TF Serving官方文档：https://www.tensorflow.org/serving/

做者：EddyLiu2017 连接：https://www.jianshu.com/p/afe80b2ed7f0 来源：简书 简书著做权归做者全部，任何形式的转载都请联系做者得到受权并注明出处。