深度学习-在线推断（Inference）技术

    深度学习一般分为训练和在线推断两个部分，大家平时经常关注的多为训练阶段，也就是搜索和求解模型最优参数的阶段。而当模型参数已经求解出来，如何使用模型，以及在在线环境中部署模型，也是非常重要的。     一般会比较关注其中的一些技术点：     访问延迟     吞吐量     模型版本管理     DevOps    大公司较为倾向自己造轮子，而小公司更倾向于用开源方案。     1 软件层

>>阅读原文<<