部署挑战html
一、把训练环境的深度学习网络部署到嵌入式平台作推理，会有些技术挑战要解决。git
1）工业界有不少深度学习框架，如Caffe，TensorFlow，MXNet，Kaldi等等。github
2）训练是在数据中心或服务器集群。而推理是在嵌入式平台（通过性能和耗电优化），这些平台在软件（编程语言，第三方依赖，内存消耗，支持的操做系统）和硬件（不一样数据类型，电源有限）上都有很大限制，所以，不推荐甚至作不到用训练框架来作推理。一个可选的方案是，使用针对特定硬件平台优化过的专用推理API。编程
3）要支持愈来愈多的network和layer，还要保证转换的network的准确率。服务器
部署流程网络
Model Optimizer框架
转换TensorFlow模型 编程语言
一、--log_level=DEBUG选项，能够显示更多错误信息，方便排查问题。函数
二、SavedModel格式的模型，要用--saved_model_dir选项，而不是--input_model，不然GraphDef函数加载模型会失败。性能
三、TensorFlow模型的shape有些维度经常没有定义完整（值为-1），这时必须利用--input_shape选项来显式指定shape，或者用-b选项来单独指定batch维度。
四、
model server
使用gRPC接口，兼容TensorFlow serving API。
参考连接：
https://docs.openvinotoolkit.org/latest/_docs_IE_DG_Introduction.html