AI端侧落地，京东AI技术如何部署边缘？

导语：随着物联网的快速发展，愈来愈多的用户但愿将 AI能力下沉到边缘层，让边缘设备可以自动处理关心的一些数据，再把结果上报到云平台。这样作既节省了资源，又提升了运算效率。

随着技术进步，手机等移动设备已成为很是重要的本地深度学习载体，然而日趋异构化的硬件平台和复杂的终端侧的使用情况，让AI技术在端侧的应用能力颇受挑战。端侧模型的推理每每面临着算力和内存的限制，为了可以完整的支持众多硬件架构，而且实如今这些硬件之上人工智能应用性能的优化，很多科技公司开启了深刻研究。技术媒体InfoQ上周采访了京东智联云视觉研发部的产品经理张志强，交流了京东AI技术在端侧的应用。

（如下为采访稿件内整理）

AI技术在端侧能解决什么问题？

在探讨这个话题以前，咱们须要先明确端侧的定义。端侧实际上是相对于云中心侧来说的。云中心侧实际上是一种集中式服务，全部采集和感知到的视频、图像数据都经过网络传输到云中心侧进行后续处理。云侧的资源高度集中而且具备很高的通用性，可是随着IoT设备和数据的指数爆发式增加，云侧的集中式计算模型慢慢暴露出了不少不足，好比数据处理的实时性，网络条件制约，数据安全等。

AI技术用于端侧也就是咱们常说的边缘计算，张志强说，这种模式能够更好的支持AIoT场景，具备以下优势：一是AI技术用于端侧能够第一时间对收集的数据进行处理，不须要经过网络上传到云侧的处理中心，极大加快了系统响应也减小了系统处理延迟，5G技术的普及也为端侧处理提供了保证；二是端侧计算能够更高效的处理有价值的关键数据（大约20%），其他的数据（大约80%）只是临时性的，在端侧结合AI能力，不只能够更及时处理数据，并且减轻网络带宽的限制和缓解对中心侧数据存储的压力；三是在端侧的AI技术能够高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将AI处理后的结果进行上报。

总的来讲，AI在边缘侧的执行能够实时进行数据处理，实时响应，有效下降因数据传送到云计算中心而致使的延迟。

目前，主要的应用是物联网的边缘计算，京东对内、对外都有一些落地案例，例如：无人售货机和智能结算台上使用了AI的商品检测技术，包括顾客所选取的商品SKU等，主要采用的是端侧的AI能力；以及在智慧园区里进行基本的人脸结构化、人体结构化、车辆结构化，还有基于视频分析的周界安全检测、物体遗留等场景。某些场景不只结合了边缘计算的AI能力，同时也使用了云端的AI能力进行二次分析，采用的形式是云端协同。在一些更复杂的场景，好比智慧园区，智慧社区，智慧城市的项目落地中，大多都是采用的端云协同的应用形式。

端侧AI的研发难点

众所周知，端侧的技术难度是如何在资源有限的硬件环境里知足业务对性能的要求，不管是存储、内存，或者计算资源都比较有限。端侧对AI模型提出了更高的要求，好比对模型生命周期的管理，发布，回滚，灰度，版本管理等，如何方便模型的升级更新须要创建一套完善通用的机制和平台。另外，边缘计算的硬件设备种类不少，在初期对不一样硬件架构的学习、适配和模型迁移工做会占用比较长的时间，好比有不少以前自定义的模型算法算子不支持，须要算法侧从新设计和开发，无形中增长了AI在端侧应用的复杂度。

为此，通过前期积累，京东也针对市面上流行的不一样边缘计算硬件产品进行了抽象和平台化，屏蔽底层差别化，统一建设了从算法开发、模型适配、本地测试，部署上线等的一系列CI/CD机制，实现快速交付。

过往，很多开发者都会遇到离线训练和在线推理结果不一致的问题。对此，京东方面发现训练和推理的结果不会彻底同样，可是基本一致。能够从如下三方面考虑：一是在模型设计上尽量轻量化。在保证模型性能的前提下，使网络参数减小的同时，不损失网络性能，尽量的下降模型的复杂度以及运算量；二是性能与精度进行权衡，找到平衡点；三是检测二者的预处理与后处理有无差别，能够在网络处理先后进行预判和比较。

京东端侧AI技术实践

2019年中，京东云与AI视觉研发部开始规划在端侧场景下的AI视频分析平台mVCG-Air，与该版本相呼应的是在云端场景部署的mVCG-Pro，两者统称为mVCG（mega-Video Computing Grid），也就是超大规模的视频计算分析网络。

【mVCG-Air技术总体架构图】

mVCG-Air是AI视频分析处理能力在端侧应用的典型产品，通过快速迭代mVCG-Air目前已经在不一样场景落地。张志强表示，该平台解决了在落地场景中接入的设备多，同时对视频分析的时效性很高，云端处理受网络带宽有滞后影响的问题。

此外，mVCG-Air结合了目前性能较高的端侧计算设备，同时内部所有使用了京东智联云自研的AI核心技术，全部算法模型针对端侧计算设备进行了全面优化和加速，开发者能够轻松实现定制化、快速交付。

有必要统一模型研发流程

综合整个实践过程，不难发现 ，拥有统一全部模型的研发流程，使得模型研发之初的特征工程再到模型训练，再到推理上线等作统一的规划是十分必要的。好比，京东同一个模型将来可能会在不一样的场景都须要部署落地，有的是基于边缘计算的mVCG-Air部署，有的是基于云中心的mVCG-Pro进行部署，那么就须要有统一的模型训练和转换机制。同时，同一个模型有可能会在不一样的边缘硬件上进行部署，在模型设计之初就须要考虑后续的一致性等问题。京东内部已经沉淀了一套完整的模型研发测试流程，使得一个模型能够轻松同时落地不一样的异构硬件设备上。

资源调度设计

关于资源调度，其实包括边缘侧mVCG-Air和中心侧mVCG-Pro的调度，也包括mVCG-Air管理的设备之间的调度。张志强表示，在mVCG内部有个很重要的模块组件，就是模型仓库，与其相关联的有算力调度，任务调度等。

【算法仓库体系架构图】

算法仓库体系架构使得智能分析能力再也不固化在mVCG的产品中，实现“一套平台，多种算法”，具备系统高可用、资源高利用率、算法灵活开放等优点。基于算法仓库能够对mVCG全部算法模型进行统一高效管理，包括模型管理、模型灰度部署、模型发布、模型升级、模型算法版本管理。每一个模型都有本身的画像Model Profile，经过分布式组件，根据模型画像和当前业务负载实现模型算力的灵活分配和调度，全部模型算法是基于插件机制实现灵活部署、自动分配、快速加载、高效运行和无感知版本更新。

硬件选型

事实上，软件层面的定制优化永无止境，这包括模型加速推理，模型量化剪枝，让模型体积更小，占用资源小同时又不失精度。固然，软件层面的优化工做也须要取决于边缘侧设备的开放程度。

除了软件层面的能力，AI所需的超强算力必须有合适的硬件与之相匹配。张志强表示，京东云与AI视觉研发部mVCG-Air在研发过程当中使用了ARM架构的CPU+NPU，如今不断有更新、更快的硬件加速卡或者是端侧产品推出，选取性价比最高，同时最适合业务场景的才是最好的。

将来，mVCG-Air也将继续赋能感知设备以智能，并融合云端物联网和信息网的数据，实现对人（人脸、人体）、车、物体、场景、行为的全息感知，同时深刻挖掘多维数据的潜在价值。应用的重点包括京东内部的不少重要场景，也包括对外的场景，好比智慧园区，智慧城市，智慧车站，智慧警务等。

将来规划

边缘计算做为传统云计算的重要补充，各自发挥特长，随着端侧设备处理能力的大幅度提高，基于AI的智能设备正在发挥愈来愈重要的做用。

AI和端侧的结合其实属于AIoT的一部分，由于智能物联网AIoT是在2018年兴起的概念，目前各种AI公司、芯片公司都处在百家争鸣的阶段，市场空间很是大，包括端侧人工智能在建筑人居、工业制造、智慧城市等不一样产业领域的瞭望，都充满了期待。

2020年，AIoT正在发生的一个趋势是人工智能和设备的加速融合。大多数状况下，端侧人工智能计算和云侧计算将会长期共存，甚至采用混合的方式，一部分由设备自身的AI能力及时执行运算，另外一部分经过统一云中心完成。如今，业界对于端侧人工智能讨论比较多的仍是软硬件选型、动态调度和垂类落地的问题。做为云计算的下沉计算模型，端侧的人工智能发展还须要一些时间和耐心。

欢迎点击“更多”了解京东智联云！