Edge Intelligence：边缘计算与人工智能的结合

时间  2020-09-12 标签 edge intelligence 边缘 计算 人工智能 结合

本文出自论文 Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing ，主要对边缘智能的最新研究成果进行了全面调查，并进行了完善的综述。web

边缘智能的研究仍处于起步阶段，计算机系统和人工智能社区都迫切须要一个专门的地方来交流边缘智能的最新进展。为了这个目的，本文对边缘智能的最新研究成果进行了全面调查。首先回顾了在网络边缘运行的人工智能应用程序的背景和动机，而后提供了一个在网络边缘的深度学习模型训练/推理的整体架构、框架和出现的关键技术，最终，讨论了在边缘智能上将来的研究机遇。编程

文章目录

1、简介

边缘节点的大小能够不一样，从信用卡大小的计算机到带有多个服务器机架的微型数据中心，边缘计算强调的最重要特征是物理上接近信息生成源。从本质上讲，与传统的基于云的计算方式相比，在计算和信息生成源的物理接近性带来了几个好处，包括低延迟、能量高效、隐私保护、带宽占用减小、及时性和环境敏感性。
边缘计算的基础设施缓存

2、人工智能技术

  1. 卷积神经网络（CNN）：CNN一般应用于计算机视觉方向，给定一系列来自真实世界的图像或视频，在CNN的利用下，AI系统学会去自动提取这些输入的特征来完成一个特定任务，如图像分类、人脸识别、图像语义分割。CNN
  2. 循环神经网络（RNN）：对于顺序性输入数据，RNNs被提出来解决时间序列问题。RNN的输入由当前输入和先前样本组成。一个RNN的每一个神经元拥有一个内存来保存先前样本计算信息。RNN的训练过程基于随时间的反向传播方法（BPTT），长短时间记忆（LSTM）是RNNs的一个扩展版本。LSTM的每一个神经元被称做记忆单元，其包括一个乘法遗忘门、输入门和输出门。这些门被用来控制对记忆单元的访问。这些门是不一样的神经网络，用来决定哪些信息在这个记忆门中被容许。因为其具备处理输入长度不固定的数据优点，循环神经网络已经被普遍应用于天然语言处理。
    RNN
  3. 生成对抗网络（GAN）：GANs有两个主要成分组成，被命名为生成网络和鉴别网络。生成器主要负责在从真实数据的训练集中学习数据分布后，来生成新数据。鉴别器则主要负责将真实数据和从生成器中生成的虚假数据进行分类。GAN一般被应用于图像生成、转换、组合、分辨和其余应用程序中。GAN
  4. 深度强化学习（DRL）：DRL由DNNs和强化学习（RL）组成，DRL的目标在于创建一个智能agent，来执行有效的策略去最大化带有控制动做的长期任务奖赏。DRL的典型应用是去解决不一样的调度问题，例如游戏中的决策问题，视频传输的比例选择等。在DRL方法中，强化学习历来自环境的状态函数中寻找动做的最优策略，DNN则负责表示大量状态并近似动做值，来评估获得状态下的动做质量。奖赏是一个函数，用来表示预约义环境和一个动做性能的距离。经过连续的学习，DRL模型的agent能够被用来处理不一样的任务。
    DRL

3、边缘智能

  1. 边缘智能的动机和好处：（1）网络边缘产生的数据须要AI来彻底释放它们的潜能；（2）边缘计算可以蓬勃发展具备更丰富的数据和应用场景的人工智能；（3）人工智能广泛化须要边缘计算做为关键基础设施；（4）边缘计算能够经过人工智能应用来推广。
  2. 边缘智能的范围：咱们认为边缘智能应该是充分利用终端设备、边缘节点和云数据中心层次结构中可用数据和资源的范例，从而优化DNN模型的总体训练和推理性能。这代表边缘智能并不必定意味着DNN模型彻底在边缘训练或推理，而是能够经过数据卸载以cloud-edge-device协做的方式来工做。
  3. 边缘智能的等级：根据数据卸载的数量和路径长度，咱们将边缘智能分红6个等级。云智能（彻底在云中训练和推理DNN模型）、Level-1（Cloud-Edge协做推理和Cloud训练）、Level-2（In-Edge协做推理和Cloud训练）、Level-3（On-Device推理和Cloud训练）、Level-4（Cloud-Edge协做训练和推理）、Level-5（In-Edge训练和推理）、Level-6（On-Device训练和推理）。当边缘智能的等级越高，数据卸载的数量和路径长度会减小，其传输延迟也会相应减小，数据隐私性增长，网络带宽成本减小。然而，这是经过增长计算延迟和能耗的代价来实现的。
    边缘智能等级

4、边缘智能模型训练

  1. 架构：在边缘的分布式DNN训练架构能够被分红三个模块，集中式，分散式，混合式（Cloud-Edge-Device）。（1）集中式：DNN模型在Cloud数据中心训练；（2）分散式：每一个计算节点使用它的本地数据在本地训练它本身的DNN模型，并经过共享本地训练更新来得到全局DNN模型；（3）混合式：结合了集中式和分散式模块，边缘服务器能够经过分散式更新来训练DNN模型，或者使用云数据中心来集中式训练。
    训练架构
  2. 关键性能指标：（1）Training Loss（训练损失）：表示训练好的DNN模型与训练数据的匹配度；（2）Convergence（收敛）：衡量一个分散方法是否以及多快能收敛到这样的共识；（3）Privacy（隐私性）：是否实行隐私保护取决于原始数据是否被卸载到边缘；（4）Communication Cost（通讯成本）：其被原始输入数据大小、传输方式和可用带宽所影响；（5）Latency（延迟）：由计算延迟和通讯延迟组成，计算延迟依赖于边缘节点的性能，通讯延迟可能因传输的原始或中间数据大小以及网络链接带宽而异；（6）Energy Efficiency（能源效率）：其主要被目标训练模型和使用设备的资源所影响。
  3. 支持技术：（1）Federated Learning（联邦学习）：优化隐私问题，经过聚合本地计算更新来在服务器上训练共享模型；（2）Aggregation Frequency Control（聚合频率控制）：在给定资源预算下，肯定本地更新和全局参数聚合之间的最佳权衡；（3）Gradient Compression（梯度压缩）：梯度量化（经过量化梯度向量的每个元素到一个有限位低精度值）和梯度稀疏化（经过仅传输梯度向量的一些值）；（4）DNN Splitting（DNN划分）：选择一个划分点来尽量减小延迟；（5）Knowledge Transfer Learning（知识迁移学习）：首先基于一个基础的数据集和任务来训练一个基础网络，而后在一个目标数据集和任务中将学到的特征迁移到第二个目标网络进行训练；（6）Gossip Training（流言训练）：多设备间随机流言通讯，它是彻底异步和分散的。
  4. 已有系统和框架的总结：与以云为基础框架的DNN训练相比，以边缘为基础框架的DNN训练更关注于保护用户的隐私和更快地训练一个可用的深度学习模型。

5、边缘智能模型推理

  1. 架构：咱们进一步定义了几个主要的云集中推理架构，包括：（1）Edge-based（DNN模型推理在边缘服务器完成，预测结果将返回到设备中）；（2）Device-based（移动设备从边缘服务器获取DNN模型，并在本地执行模型推理）；（3）Edge-device（设备执行DNN模型到一个特定层后将中间数据发送到边缘服务器，边缘服务器将执行剩余层并将预测结果发送到设备上）；（4）Edge-cloud（设备主要负责输入数据收集，DNN模型则在边缘和云上执行）。推理架构
  2. 关键性能指标：（1）Latency（延迟）：整个推理过程当中所占时间，包括预处理、模型推理、数据传输和后处理；（2）Accuracy（精度）：从推理中得到的正确预测输入样本数量和总输入样本数量的比值；（3）Energy（能量）：能量效率被DNN模型大小和边缘设备资源所影响；（4）Privacy（隐私）：其依赖于处理原始数据的方式；（5）Communication overhead（通讯开销）：其依赖于DNN推理方式和可用带宽；（6）Memory Footprint（内存占用）：其主要被原始DNN模型大小和加载大量DNN参数的方法所影响。
  3. 支持技术：（1）Model Compression（模型压缩）：权重剪枝和量化，来减小内存和计算；（2）Model Partition（模型划分）：计算卸载到边缘服务器或移动设备，延迟和能量优化；（3）Model Early-Exit（模型前期退出）：部分DNNs模型推理；（4）Edge Caching（边缘缓存）：对相同任务先前结果重用的快速响应；（5）Input Filtering（输入过滤）：输入差别检测；（6）Model Selection（模型选择）：输入优化和精度感知；（7）Support for Multi-Tenancy（多租用支持）：多个基于DNN的任务调度和资源高效性；（8）Application-specific Optimization（特殊应用程序优化）：对特定的基于DNN的应用程序进行优化。模型划分
  4. 已有系统和框架的总结：为了使通常边缘智能系统的总体性能最大化，综合的可用技术和不一样优化方法应当以协做的方式工做，以提供丰富的设计灵活性。

6、将来研究方向

  1. 编程及软件平台：当愈来愈多AI驱动的计算密集型移动和物联网应用程序出现后，边缘智能做为一个服务（EIaaS）能够成为一个广泛范式，具备强大边缘AI功能的EI平台将会被发展和部署。EIaaS更多关注于如何在资源限制型和隐私敏感型的边缘计算环境中执行模型训练和推理任务。另外，应该进一步研究轻量级虚拟化和计算技术，如容器和函数计算，以便在资源受限的边缘环境中高效部署和迁移EI服务。
  2. 资源友好型边缘AI模型设计：大部分基于AI模型的深度学习都是高度资源紧张型的，这意味着丰富的硬件资源所支持的强大计算能力是这些AI模型性能的重要提高。所以，有不少研究利用模型压缩技术（如权重剪枝）来调整AI模型的大小，使它们对边缘部署更加资源友好。
  3. 计算感知网络技术：很是须要计算感知性的先进网络解决方案，以便于计算结果和数据可以有效地跨不一样边缘节点被共享。计算感知的通讯技术开始得到关注，例如梯度编码在分布式学习中缓解离散效应，分布式随机梯度降低的空中计算，这些都对于边缘AI模型训练加速是有用的。
  4. 智能服务和资源管理：设计高效的服务发现协议是很是重要的，这样用户能够识别和定位相关的EI服务提供者，从而及时知足他们的需求。另外，为了充分利用跨边缘节点和设备的分散资源，将复杂的边缘AI模型划分红小的的子任务和有效地在边缘节点和设备中卸载这些任务，以实现协同执行是关键的。

7、结论

本文对边缘智能的研究现状进行了全面的综述。特别地，咱们首先回顾了运行在网络边缘的人工智能背景以及动机，接着提供了一个整体架构、框架和在网络边缘训练和推理的深度学习模型的关键技术描述。最后，咱们讨论了边缘智能的开放挑战和将来研究方向。服务器

联系我们 沪ICP备13005482号-10