点击这里,查看克隆 poetry 项目,安装依赖,本地运行函数,部署函数等重要内容html
简介:AI model serving 是函数计算一个比较典型的应用场景。数据科学家训练好模型之后每每须要找软件工程师把模型变成系统或者服务,一般把这个过程称之为 model serving。函数计算无需运维和弹性伸缩的特性,正好符合数据科学家对高可用分布式系统的诉求。本文将介绍把一个 TensorFlow CharRNN 训练的自动写五言绝句古诗的模型部署到函数计算的例子。python
首先介绍下在本文出现的几个比较重要的概念:git
函数计算(Function Compute): 函数计算是一个事件驱动的服务,经过函数计算,用户无需管理服务器等运行状况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息 参考。
Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它经过一个资源配置文件(template.yml),协助您进行开发、构建、部署操做。Fun 的更多文档 参考。
备注: 本文介绍的技巧须要 Fun 版本大于等于 3.2.0。github
本项目是在 MacOS 下开发的,涉及到的工具是平台无关的,对于 Linux 和 Windows 桌面系统应该也一样适用。在开始本例以前请确保以下工具已经正确的安装,更新到最新版本,并进行正确的配置。算法
Fun 和 Fcli 工具依赖于 docker 来模拟本地环境。
对于 MacOS 用户可使用homebrew进行安装:docker
brew cask install docker brew tap vangie/formula brew install fun brew install fcli
Windows 和 Linux 用户安装请参考:服务器
安装好后,记得先执行fun config
初始化一下配置。框架
注意, 若是你已经安装过了 fun,确保 fun 的版本在 3.2.0 以上。less
$ fun --version 3.2.2
AI model serving 是函数计算一个比较典型的应用场景。数据科学家训练好模型之后每每须要找软件工程师把模型变成系统或者服务,一般把这个过程称之为 model serving。函数计算无需运维和弹性伸缩的特性,正好符合数据科学家对高可用分布式系统的诉求。本文将介绍把一个 TensorFlow CharRNN 训练的自动写五言绝句古诗的模型部署到函数计算的例子。运维
基本上全部的 FaaS 平台为了减小平台的冷启动,都会设置代码包限制,函数计算也不例外。因为 python TensorFlow 依赖库和训练的模型的文件有数百兆,即便压缩也远超了函数计算 50M 代码包大小的限制。对于这类超大致积的文件,函数计算命令行 Fun 工具原生支持了这种大依赖部署(3.2.0 版本以上),按照向导的提示操做便可。
关键字:弹性计算 人工智能 Cloud Native Serverless Shell TensorFlow 文件存储 算法框架/工具 Docker 容器