##haohaohao#######蘑菇街自研服务框架如何提高在线推理效率？

Online Serving 简介 从本质而言，在线服务就是提供 (http, rpc) 等接口，用户输入 X, X 通过 pre-process 处理成符合模型输入的参数，经由模型推理后获得 Y，Y 通过 post-process 处理成符合用户认知的数据格式，最后将结果返回。golang 第 2 步和训练中的 evalute/test 相应步骤几乎同样，只是在线推理下的 batch size

>>阅读原文<<