KuAI平台 | 模型在线推理系统的高可用设计

摘要 随着大数据技术和人工智能技术的发展，越来越多的业务场景，如金融风控、在线广告、商品推荐、智能城市等，采用大量的机器学习技术来提升服务质量和智能决策水平。针对具体的任务，训练得到模型后，需要将其封装、部署上线，提供在线推理服务，解决实际业务问题。 本文提出一种分布式机器学习模型在线推理系统的完整技术方案，该系统主要采用CPU/GPU 计算节点来提供推理任务的基础算力，通过Docker容器技术封

>>阅读原文<<