腾讯云大学大咖分享 | AIoT如何使能万物智联

点击观看完整课程

伴随着信息大爆炸和通信技术的发展，“AIoT”俨然成为了当前科技和互联网领域的一个热门词汇，各大知名厂商纷纷表示本身要布局AIoT。到底什么是AIoT？AIoT到底有些什么优点呢？「腾讯云大学」联合「云加社区」为你们整理了大咖直播课《腾讯云 AIoT 解决方案》的回顾，看看腾讯云的IoT高级产品经理是如何理解AIoT的。

目前咱们已经处于一个万物互联的时代，随着人工智能技术的发展以及技术之间的相互融合，咱们也想把万物互联转换成万物智联。把原来的AI能力附着在通讯能力之上，就造成了AI+IoT的架构。如图所示，左下角部分是物联网通讯技术，右上角是云上的AI推理平台。传统的解决方案都是相似这样，把AI放在云端，这样的方案是否会存在不足之处呢？

试想一下，在家居或者是商务场景中，会有一些边缘的摄像头，咱们经过这些摄像头得到视频流数据，这些数据通过物理链接层、网络接入层、IoT Hub或IoT Video等通讯渠道到达云端，在AI推理平台中进行推断，推断结束后再以相同链路返回边缘侧。这样至少会带来2大问题：高额的流量成本和远程调用的高时延。这不由使咱们腾讯云的团队去思考如何改良这种方案。

除此之外，咱们也接收到了不少不一样的需求，但愿在边缘侧快速实现AI的功能。好比在智慧工厂方面，一些客户对分布各地的企业工厂在圣餐过程当中的半成品、成品进行自动化的质量检测。智慧零售方面，AI应用于普遍分布式部署的无人货柜、商铺智能导购等场景，须要迅速识别商品人员。

随着技术的发展与融合让边缘AI落地成为可能。容器编排技术通过4年时间的发展逐渐成熟，这种技术让应用更容易地移植到云端；AI加速芯片的出现使得边缘智能设备的算力大幅提升并可灵活伸缩：不一样AI计算框架让AI应用开发者的上手门槛大幅下降，他们能够更快地开发出应用；成熟的物联网数据采集技术为AI模型训练输入提供了良好基础。

前面说了这么多AIoT技术的发展和应用场景，以及咱们腾讯云试图去改善AIoT的背景。那么，腾讯云针对于目前AIoT的需求推出了什么解决方案呢？

腾讯云关于边缘AIoT的解决方案是IoT EIDP。IoT EIDP与其余物联网组件、AI组件共筑腾讯云AIoT，具体结构以下图。

IoT EIDP主要有如下6大特色：设备自动接入、脱机AI计算、丰富算法市场、快速二次开发、快速一键部署和主流硬件平台。丰富的算法市场指的是集合了腾讯自有AI算法、第三方AI算法，知足不一样客户对不一样边缘场景下的需求

基于IoT EIDP的6大特色，能够给用户带来更快速地数据相应，更低的带宽和云存成本，更便捷的系统部署与维护，以及一站式的AI算法选择、硬件平台选择。

为了给用户好的使用体验，IoT EIDP采用了独特的技术架构。首先咱们来看看整体架构，下图虚线框内就是整体架构，主要分为3个部分：应用与模型发布工具、应用与模型分发平台、边缘网关/盒子软件栈。应用与模型分发平台会对用户的应用、模型市场的应用、边缘侧设备进行管理。

接下来咱们来看看各部分的细节是怎么样的。应用于模型发布架构有Docker管理、应用管理、可视化编辑应用、应用发布4个功能，和应用与模型分发平台架构的设备管理、应用管理、设备群组管理、应用群组管理4个模块分别对应。

软件栈的部分是边缘AI能力的基础，以容器引擎为底座，能够支持基于各种AI加速芯片的硬件平台。容器之上是设备接入服务，支持各种协议接入，如MQTT、RTSP/RTP/RTCP等。再往上看，是核心服务和智能分析服务。智能分析服务中有一个AI中间键，让用户能够根据本身的需求选择不一样配置的AI加速器。最上层的是模型应用服务和云端链接服务，在模型应用服务推断出结果后，经过窄带和宽带推流链接到云端。除此之外，咱们还设置了安全服务。

边缘侧是怎样实现边缘AI的技术细节呢？首先是服务发现与注册功能，会通过微服务启动——服务发现——服务调用——健康检查几个环节。

在数据处理方面，咱们开放了至少15个模型，这些模型分为两类，一类是基础模型，即咱们把模型能力进行抽象，提供简单易用的SDK，实现整个推断的流程。

另外一类是高阶的AI数据的处理。边缘AI软件协议栈内置gRPC和RESTful API两种调用方式，方便开发者在1分钟内部署AI推理模型，同时，这个模型基于OpenVino中间件，能够快速提高性能。

数据处理完以后就涉及到数据分发的流程了。分发流程集成IoT Hub的窄带通讯能力，以及IoT Video的宽带通讯能力，实现结构化数据输出以及事件触发联动的视频输出。

前面有提到过，在边缘侧有一个垂直的安全的能力。这个安全的能力是指咱们会结合腾讯云物联网中心，运用一款TID的产品，它主要提供模型版权保护和边缘设备身份认证两个功能。

通常边缘AI数据都特别大，有些用户会担忧若是直接分发到云端的话，是否会形成大流量、大存储的问题。确实可能会有这样的影响，可是咱们在边缘侧采用的是Docker的技术，自然地运用了镜像分层的原理，能使用同一个机组接纳容器，共用同一块数据空间，这样能够节省存储。同时，基于设备预装的Docker容器中间件，能够将基于一样AI中间件的应用模型，分发流量由平均2G降低到小于1G。

为了搭配IoT EIDP的软件平台，咱们还提供了运行边缘AI的硬件，支持灵活VPU算力和多达16路1080P的视频编码、解码，保证用户快速地实现边缘AI的能力。

IoT EIDP 可让客户方便地建立边缘节点、选购各种AI算法模型、发布自有 AI 模型或二次开发应用、并经过云端控制台一键部署至边缘侧，让物联网数据处理响应更快速、带宽要求更低，进一步节约客户运维成本。

Q&A

Q：平台是否提供公开的算法模型

A：提供，目前咱们已经上线了15个模型，以后咱们还会开放生态，欢迎各厂家和我的开发者本身上传模型。

Q：一个盒子能够支持多个模型吗？

A：能够，由于是基于OpenVino的，OpenVino自然的调度框架就支持多个模型。