嵌入式人工智能，理念仍是噱头

在追寻 AI 商业化的道路上，人们逐渐发现，要实现技术的落地，不只须要性能优越的算法模型以及可靠的硬件支持，还须要把 AI 技术和硬件环境进行有机结合，再应用到具体的实际场景中，进而知足用户的需求。

嵌入式 AI是当前 AI 落地途径之一

所谓嵌入式，就是指一种可被内置于设备或装置的专用计算机系统。一般来讲，具备数字接口的设备都具备嵌入式系统，如手机、车载电脑、智能手表等等。

而嵌入式 AI，则是一种让 AI 算法能够在终端设备上运行的技术概念。很简单，换句话说，它的做用就是能让音箱、手机、机器人等智能硬件在不联网的状况下实时完成环境感知、人机交互、决策控制等功能。

什么样的垂直场景更须要嵌入式 AI?

众所周知，神经网络包括模型训练和推断两个过程。而一提训练，就一定会涉及海量的数据输入，计算规模也会根据场景复杂性的递增而变得越发庞大。

所以，受到计算资源的限制，嵌入式端很难实现模型训练的过程，也是咱们下面要说的「几个挑战之一」。

而在推断环节，云端推断和嵌入式推断，两者诉求不一样，所以也在不一样的应用场景可以发挥本身的优点：

前者的好处是，可以承受高吞吐量并知足复杂计算对资源的要求，所以多用于深度学习模型和计算较复杂的状况;然后者，则更多的应用于对「实时处理」有更高要求的场景中。

什么是「实时处理」?咱们来举个最实际的例子。无人驾驶汽车须要实时监测周围环境，可是若是无人车忽然进入隧道，或者进入某个连不了网的环境中呢?

是的，驾驶场景复杂多变，并不能保证时刻都能有一个百分之百可用的网络。所以，嵌入式 AI 凭借其实时性优点及脱机运行的能力得以自动驾驶领域展示实力。

国内自动驾驶卡车技术研发公司图森将来 COO 郝佳男就曾在接受采访时表示：「从理论上讲，在云端处理传感器信号并不可行，存在延迟和可用性问题。」

所以，信号的本地处理也是整个自动驾驶领域的一大诉求，由于设备端采集到数据后上传到计算完成返回终端的过程会不可避免地带来必定的延时，驾驶的危险系数也随之提高。

而上海速嵌公司技术负责人在前天举办的嵌入式人工智能技术论坛上也提到了这一问题：「自动驾驶汽车每秒钟能够产生 1G 的数据，必须及时的、迅速的在本地来处理决策，不可能移到云端。」

除了无人驾驶，在智能家居方面，试想一下若是用户家中安装了一个监控摄像头，那么把数据传到云端极可能会增长我的隐私泄露的风险。而因为嵌入式 AI 是在本地处理数据，数据没有上云的过程，就能够保证用户的信息安全，免除没必要要的麻烦。

除了这些特定的应用场景，一些 AI 技术公司对嵌入式 AI 也有着普遍的需求。而近来因巨额融资引发普遍热议的 Face++就是其中的一员。

他们在手机端作实名认证及人脸解锁的时候发现，算法会不断「吃」计算力。也就是说，即使计算力不断增加，算法对计算力也老是处于「欲求不满」的状态。

其次是在摄像机端。他谈到算法研发人员但愿在作人脸识别的时候，可让人脸在视频中的检测、抓拍环节在相机端实现。这样一来，就能够只传输有价值的信息，而非原始的大容量视频，可以有效减小传输带宽以及后端部署服务器的计算量及存储量，让系统的总体架构变得更加轻便。

「那么，原本信息能够存 3 个月，如今能够存 3 年，这会带来很是大的价值。」唐文斌补充道。

嵌入式 AI 挑战也不少，AI 公司都是如何选择的?

在把 AI 技术部署于终端设备的过程当中，嵌入式技术相当重要。简单来讲，这一过程须要对芯片进行全方位考量以评估芯片的性能，而后根据神经网络算法作特殊化处理，「无缝对接」嵌入式设备的能力。「既没有浪费运算单元，又最大程度地体现算法的精度，这是一个艺术活，也是技术活。」孙力如是说。

然而，把嵌入式 AI 从云端迁移到终端却并不是易事。孙力表示，目前嵌入式 AI 面临三大挑战，分别为运算能力、功耗及散热。这些也是经典嵌入式设备所面临的问题。

此外，你还须要考虑算法新增的神经网络处理单元与原有 DSP、GPU 计算架构的算法精度两者之间的平衡问题，以及如何对传统运算力较低的智能硬件设备进行升级，或者怎样为传统硬件添加 SoC 以实现智能化转型等等问题。

而这些也基本都与成本挂钩。如何让嵌入式 AI 展示出应有的商业价值，也是真实存在且亟待解决的问题。

在具体操做上，技术人员不只须要剪裁优化出最佳的计算模型并集成到移动设备上，还要保证操做系统向下驱动底层硬件，向上支持软件算法，并且对于终端设备他们必须有深刻的理解。

「只有这样，才能保证整个嵌入式 AI 算法模型经济、高效的运算。」。

在创业初期，团队觉得算法会是最大的门槛，结果发现整合能力的需求才是最高的。

「这也是美国有许多算法技术很强的初创公司都被苹果这类大公司收购的缘由。」他解释道，「由于，从算法到落地产品还有一个很远的距离。」

为了解决这些问题，业内目前主要采起三种实现路径，分别是「压缩算法模型」，「不断挖掘硬件潜力」，以及「在压缩模型的同时针对现有芯片进行优化」。

目前看来，第三种路径是可以最快落地的。可是不管如何，优化到必定程度还会遇到瓶颈，仍是须要你转过头去提升硬件性能。

云和端，你选择哪个?

「端+云」的将来发展趋势已经很是明确。一些须要移动端提供快速响应能力的场景能够选择在移动端进行计算，而须要把海量数据汇聚在一块儿，实现大规模数据挖掘与处理的状况能够放在云端进行。

「不过，具体哪些放在云端，哪些放在移动端，尚未一条统一的分界线，这也是留给咱们的一个问题。」。

「这里面存在较多的组合方式，」抓取数据、理解数据、根据理解作出行为决策等等环节能够所有在硬件执行，固然也能够部分给软件、部分给硬件。

「不少感知计算涉及深度学习网络，各家公司对这方面的硬件加速也有很深的理解。不过在决策阶段，不少算法尚未定型，以无人车为例，业界主要仍是基于规则的方法来作决策。」

咱们无需担忧算法定型后，嵌入式 AI 的价值会减弱。速嵌智造认为：「算法是没有完美的，当这个算法趋于完美之时，你们会产生更多的需求，也会不断有新的算法出现，你总会发现本身还有不少技术工做要作。由于技术是没有穷尽的。」