深度学习-在线推断（Inference）技术

    深度学习通常分为训练和在线推断两个部分，你们平时常常关注的多为训练阶段，也就是搜索和求解模型最优参数的阶段。而当模型参数已经求解出来，如何使用模型，以及在在线环境中部署模型，也是很是重要的。html     通常会比较关注其中的一些技术点： 服务器     访问延迟     吞吐量     模型版本管理     DevOps    大公司较为倾向本身造轮子，而小公司更倾向于用开源方案。ap

>>阅读原文<<