使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

Google 开发者大会 (Google Developer Days，简称 GDD) 是展现 Google 最新开发者产品和平台的全球盛会，旨在帮助你快速开发优质应用，发展和留住活跃用户群，充分利用各类工具得到更多收益。2018 Google 开发者大会于 9 月 20 日和 21 日于上海举办。👉Google 开发者大会 2018 掘金专题

2018 年 9 月 21 日 丘天豪（Google Brain 软件工程师）带来一场《使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习》的演讲，本文将对演讲作一个回顾。

TensorFlow Extended

如上图所示，在实际生产环境中部署机器学习是一件让工程师很是头痛的事情，除了完成机器学习代码以外，工程师们还要考虑茫茫多的生产环境适配。换句话说，工程师们在生产环境中部署机器学习的难点并不在于机器学习的代码，而是在处理各类环境适配上，这些问题消耗了大量的时间，因此 TensorFlow Extended 平台就是为了解决这个难题而诞生。目前 Google 只是开源了一些库，而不是平台自己，因此须要引用一些库文件来使用部分功能。

TensorFlow Extended 平台的组成结构如上图所示，下面将根据 Google 开源的 四个部分进行介绍。

数据转换 （TensorFlow Trainsform）

在使用数据集以前，每每须要对数据进行转换，TFT 容许将数据转换成 TF 计算图，同时也能够定义一些特殊的转换来表达特殊的特征。生成的 TF 计算图是完成密封的，包含全部的特征值信息，这也就意味着能够应用于训练和部署中。这个是十分重要的一点，在生产环境中，有可能咱们训练和部署所使用的语言和路径是不相同的，而 TF 计算图是完成密封的，很好的解决了这个问题。

示例：

出租车给小费实例

GitHub：github.com/tensorflow/…

模型训练 （Estimators or Keras）

使用 TensorFlow Estimators 进行模型训练

训练好的模型会以 SavedModel 形式输出。

使用 tf.Keras 进行模型训练

模型评估和验证（TensorFlow Model Analysis）

在完成模型训练以后，每每须要从新编写代码对模型进行评估和验证。TFMA 就是为了解决这个问题出现。

在运行上图所示代码后，会出现以下图这样的图形界面，更加直观的对模型就行评估。

GitHub：github.com/tensorflow/…

模型部署 （TensorFlow Serving）

在使用 TensorFlow Serving 部署模型以后，使用 Serving 接口便可进行访问。

GitHub：github.com/tensorflow/…

数据分析和验证 （TensorFlow Data Validation）

在机器学习过程当中，数据是十分重要的，错误的数据将对模型产生或多或少的影响。垃圾数据对存在回路的机器学习模型来讲影响因子更大，可能原始数据中不多的垃圾数据会被无限放大，所以数据的分析和验证显得尤其重要。

Data Validation 模块组成以下：

计算统计数据与统计数据可视化

推导初始 Schema

数据验证

训练/线上数据误差检测

GitHub：github.com/tensorflow/…

总结

实际生产环境中使用 TFX 流程以下：

论文：TFX: A TensorFlow-Based Production-Scale Machine Learning Platform，KDD（2017）

以上就是本次演讲的所有内容，但愿对你们有所帮助。 阅读更多 Google 开发者大会 2018 技术干货