来源：AI前线算法
做者：Matthew Stewart安全
译者：盖磊服务器
策划：陈思网络
人工智能的一个趋势是正快速从“云端”走向“边缘”。TinyML 是在海量的物联网设备端微控制器上实现的人工智能，有望在将来几年内，成为人工智能在工业领域的重要新应用。边缘设备每每计算资源和电量受限，对功耗极为敏感。在此类设备上实现人工智能模型，面临着新的挑战，也提出了新的应用。本文是 TinyML 系列文章中的第一篇，介绍了 TinyML 概念、技术及将来潜力。数据结构
由 NASA 引领的小型化风潮已经席卷了整个消费电子产品产业。如今，一个领针中便可保存所有贝多芬做品，并可以使用耳机聆听。———天体物理学家、科学评论员 Neil deGrasse Tyson架构
……超低功耗嵌入式设备的普及，以及用于微控制器的 TensorFlow Lite 等嵌入式机器学习框架的推出，意味着人工智能驱动的 IoT 设备将获得大规模普及。———哈佛大学副教授 Vijay Janapa Reddi框架
图 1 嵌入设备上的 TinyML 概览图机器学习
模型并不是越大越好。ide
本文是 TinyML 系列文章中的第一篇，目的是向读者介绍 TinyML 概念及其将来潜力。本系列的后续文章中，将深刻介绍一些特定的应用、具体实现和教程。性能
引 言
过去的十年中，因为处理器速度的提升和大数据的出现，咱们见证了机器学习算法的规模呈指数级增加。最初，模型的规模并不大，在本地计算机中运行，使用 CPU 的一或多个内核。
此后不久，GPU 计算令人们能够处理更大规模的数据集，而且经过基于云的服务，例如 Google Colaboratory 等 SaaS 平台，Amazon EC2 Instances 等 IaaS，GPU 技术变得更易于获取。与此同时，算法仍可在单机上运行。
最近，专用的 ASIC 和 TPU 已可提供大约 8 个 GPU 的处理能力。这些设备的发展，加强了将学习算法分布到多个系统中的能力，知足了规模不断增大的模型需求。
2020 年 5 月发布的 GPT-3 算法，推进模型的规模达到登峰造极的水平。在 GPT-3 的网络架构中，包含了数量惊人的 1750 亿个神经元，是人脑中约 850 亿个神经元的两倍多，也是 Turing-NLG 神经元数量的 10 倍以上。Turing-NLG 发布于 2020 年 2 月，是有史以来的第二大神经网络，其中包含约 175 亿个参数。有人估计，GPT-3 模型的训练成本约为 1000 万美圆，使用约 3GWh 的电力，是三个核电站一小时的输出。
尽管 GPT-3 和 Turing-NLG 的成就值得称赞，但它们天然也引起了一些业内人士对人工智能行业日益增加碳足迹的批评。另外一方面，它们也激发了人工智能领域对更为节能计算的兴趣。过去数年中，更高效的算法、数据表示和计算等理念，一直是机器学习微型化（TinyML）这一看似毫无关联领域的关注点。
TinyML 是机器学习和嵌入式 IoT 设备的交叉领域，是一门新兴的工程学科，具备革新许多行业的潜力。
TinyML 的主要受益者，是边缘计算和节能计算领域。TinyML 源自物联网 IoT 的概念。物联网的传统作法，是将数据从本地设备发送到云端处理。一些人对这一方式在隐私、延迟、存储和能源效率等方面存在疑虑。
能源效率。不管经过有线仍是无线方式，数据传输都很是耗能，比使用乘积累加运算单元（multiply-accumulate units，MAU）的本机计算高出约一个数量级。最节能的作法，是研发具有本地数据处理能力的物联网系统。相对于“以计算为中心”的云模型，“以数据为中心”的计算思想已获得了人工智能先驱者的一些先期探讨，并已在当前获得了应用。
隐私。数据传输中存在侵犯隐私的隐患。数据可能被恶意行为者拦截，而且存储在云等单个位置中时，数据固有的安全性也会下降。经过将数据大部保留在设备上，可最大程度地减小通讯需求，进而提升安全性和隐私性。
存储。许多物联网设备所获取的大部分数据是毫无用处的。想象一下，一台安防摄像机天天 24 小时不间断地记录着建筑物的入口状况。在一天的大部分时间中，该摄像机并无发挥任何做用，由于并无什么异常状况发生。采用仅在必要时激活的更智能的系统，可下降对存储容量的需求，进而下降需传输到云端的数据量。
延迟。标准的物联网设备，例如 Amazon Alexa，需将数据传输到云来处理，而后由算法的输出给出响应。从这个意义上讲，设备只是云模型的一个便捷网关，相似于和 Amazon 服务器之间的信鸽。设备自己并不是智能的，响应速度彻底取决于互联网性能。若是网速很慢，那么 Amazon Alexa 的响应也会变慢。自带自动语音识别功能的智能 IoT 设备，因为下降甚至是彻底消除了对外部通讯的依赖，所以下降了延迟。
上述问题推进着边缘计算的发展。边缘计算的理念就是在部署在云“边缘”的设备上实现数据处理功能。这些边缘设备在内存、计算和功能方面都高度受限于设备自身的资源，进而须要研发更为高效的算法、数据结构和计算方法。
此类改进一样适用于规模较大的模型，在不下降模型准确率（accuracy）的同时，实现机器学习模型效率数个数量级的提升。例如，Microsoft 开发的 Bonsai 算法 可小到 2 KB，但比一般 40MB 的 kNN 算法或是 4MB 的神经网络具备更好的性能。这个结果听上去可能无感，但若是换句话说——在规模缩小了一万倍的模型上取得一样的准确率，这就十分使人印象深入了。规模如此小的模型，能够运行在 2KB 内存的 Arduino Uno 上。简而言之，如今能够在售价 5 美圆的微控制器上构建此类机器学习模型。
机器学习正处于一个交叉路口，两种计算范式齐头并进，即以计算为中心的计算，和以数据为中心的计算。在以计算为中心的计算范式下，数据是在数据中心的实例上存储和分析的；而在以数据为中心的计算范式下，处理是在数据的原始位置执行的。尽管在目前，以计算为中心的计算范式彷佛很快会达到上限，可是以数据为中心的计算范式才刚刚起步。
当前，物联网设备和嵌入式机器学习模型日益普及。预计到 2020 年末，将有超过 200 亿台活跃设备。人们可能并未注意到其中许多设备，例如智能门铃、智能恒温器，以及只要用户说话甚至拿起就能够“唤醒”的智能手机。本文下面将深刻介绍 TinyML 的工做机制，以及在当前和未来的应用状况。
图 2 云的层级结构图。
TinyML 示例
之前，设备执行的各类操做必需基于复杂的集成电路。如今，机器学习的硬件“智能”正逐渐抽象为软件，使得嵌入式设备更加简单、轻量级和灵活。
使用嵌入式设备实现机器学习，需解决巨大的挑战，但在该领域也取得了长足的进步。在微控制器上部署神经网络，关键挑战在于低内存占用、功率受限和计算受限。
智能手机是最典型的 TinyML 例子。手机一直处于主动聆听“唤醒词”的状态，例如 Android 智能手机的“你好，谷歌”，以及 iPhone 的“你好，Siri”。若是经过智能手机的 CPU（主流 iPhone 的 CPU 已达 1.85 GHz）运行语音唤醒服务，那么电池电量会在短短几个小时内耗尽。这样的电量消耗是不可接受的，而语音唤醒服务大多数人天天最多使用几回。
为了解决这个问题，开发人员建立了能够用小型电池（例如 CR2032 纽扣电池）供电的专用低功耗硬件。即便 CPU 未运行（一般表现为屏幕并未点亮），集成电路也能保持活跃状态。
这样的集成电路消耗功率仅为 1mW，若是使用标准的 CR2032 电池，可供电长达一年。
虽然有些人不以为这有什么了不得的，但这是很是重要的进步。许多电子设备的瓶颈就是能源。任何须要市电供应的设备，其使用都受电力布线位置的限制。若是同一位置部署了十几台设备，可能电源会很快不堪重负。市电的效率并不高，且代价昂贵。将电源电压（例如美国使用的 120V）转换为典型的电路电压范围（一般约为 5V），会浪费掉大量的能量。笔记本电脑用户在拔充电器时，对此都深有体会吧。充电器的内部变压器所产生的热量，就是在电压转换过程当中被浪费掉的能量。
即便设备自带电池，电池续航也是有限的，须要频繁充电。许多消费类电子设备的电池，设计上可持续使用一个工做日。一些 TinyML 设备可使用硬币大小的电池持续运行一年，这意味着可将此类设备部署在一些偏远的环境中，仅在必要时进行通讯，以节省电源。
在一台智能手机中，唤醒词服务并不是惟一无缝嵌入的 TinyML 应用。加速度计数据可用于肯定用户是否刚拿起手机，进而唤醒 CPU 并点亮屏幕。
显然，这些并不是 TinyML 的惟一用武之地。实际上，TinyML 为产品粉丝和企业提供了大量使人兴奋的应用，用于实现更智能的 IoT 设备。在当前数据变得愈来愈重要的状况下，将机器学习资源分发到远端内存受限设备的能力，为农业、天气预报或地震等数据密集行业提供了巨大机遇。
毫无疑问，赋予边缘设备执行数据驱动处理的能力，将为工业过程当中的计算范式带来转变。举个例子，若是可以监测农做物并检测到诸如土壤湿度、特定气体（例如苹果成熟时会释放出乙烷）等特征或特定的大气条件（例如大风、低温或高湿度等），将极大地促进做物的生长，提升做物的产量。
另外一个例子是，在智能门铃中可安装摄像机，使用面部识别肯定到场的来访者。这将实现安防功能，甚至能够在有人到场时将门铃摄像头输出到屋内电视屏幕，以便主人了解门口的访客状况。
目前，TinyML 主要的两个重点应用领域是：
关键字发现。大多数人已经很是熟悉此应用，例如“你好，Siri”和“你好，Google”等关键字，一般也称为“热词”或“唤醒词”。设备会连续监听来自麦克风的音频输入，训练实现仅响应与所学关键字匹配的特定声音序列。这些设备比自动语音识别（automatic speech recognition，ASR）更简单，使用更少的资源。Google 智能手机等设备还使用了 级联架构 实现扬声器的验证，以确保安全性。
视觉唤醒词。视觉唤醒词使用图像相似替代唤醒词的功能，经过对图像作二分类表示存在与否。例如，设计一个智能照明系统，在检测到人的存在时启动，并在人离开时关闭。一样，野生动物摄影师可使用视觉唤醒功能在特定的动物出现时启动拍摄，安防摄像机能够在检测到人活动时启动拍摄。
下图全面展现当前 TinyML 机器学习的应用概览。
图 3 TinyML 的机器学习用例。图片来源：NXP。
TinyML 工做机制
TinyML 算法的工做机制与传统机器学习模型几乎彻底相同，一般在用户计算机或云中完成模型的训练。训练后处理是 TinyML 真正发挥做用之处，一般称为“深度压缩”（deep compression）。
图 4 深度压缩示意图。来源：[ArXiv 论文](https://arxiv.org/pdf/1510.00149.pdf).
模型蒸馏（Distillation）
模型在训练后须要更改，以建立更紧凑的表示形式。这一过程的主要实现技术包括剪枝（pruning）和知识蒸馏。
知识蒸馏的基本理念，是考虑到较大网络内部存在的稀疏性或冗余性。虽然大规模网络具备较高的表示能力，但若是网络容量未达到饱和，则能够用具备较低表示能力的较小网络（即较少的神经元）表示。在 Hinton 等人 2015 年发表的研究工做中，将 Teacher 模型中转移给 Student 模型的嵌入信息称为“黑暗知识”（dark knowledge）。
下图给出了知识蒸馏的过程：
图 5 深度压缩过程图。
图中 Teacher 模型是通过训练的卷积神经网络模型，任务是将其“知识”转移给称为 Student 模型的，参数较少的小规模卷积网络模型。此过程称为“知识蒸馏”，用于将相同的知识包含在规模较小的网络中，从而实现一种网络压缩方式，以便用于更多内存受限的设备上。
一样，剪枝有助于实现更紧凑的模型表示。宽泛而言，剪枝力图删除对输出预测几乎无用的神经元。这一过程一般涉及较小的神经权重，而较大的权重因为在推理过程当中具备较高的重要性而会获得保留。随后，可在剪枝后的架构上对网络作从新训练，调优输出。
图 6 对蒸馏模型知识表示作剪枝的图示。
量化（Quantization）
蒸馏后的模型，需对此后的训练进行量化，造成兼容嵌入式设备架构的格式。
为何要作量化？假定对于一台 Arduino Uno，使用 8 位数值运算的 ATmega328P 微控制器。在理想状况下要在 Uno 上运行模型，不一样于许多台式机和笔记本电脑使用 32 位或 64 位浮点表示，模型的权重必须以 8 位整数值存储。经过对模型作量化处理，权重的存储规模将减小到 1/4，即从 32 位量化到 8 位，而准确率受到的影响很小，一般约 1-3％。
图 7 8 位编码过程当中的量化偏差示意图，进而将用于重构 32 位浮点数。图片来源：《[TinyML](https://tinymlbook.com/)》一书。
因为存在 量化偏差)，可能会在量化过程当中丢失某些信息。例如在基于整型的平台上，值为 3.42 的浮点表示形式可能会被截取为 3。为了解决这个问题，有研究提出了量化可感知（quantization-aware，QA）训练做为替代方案。QA 训练本质上是在训练过程当中，限制网络仅使用量化设备可用的值（具体参见 Tensorflow 示例）。
霍夫曼编码
编码是可选步骤。编码经过最有效的方式来存储数据，可进一步减少模型规模。一般使用著名的 霍夫曼编码。
编译
对模型量化和编码后，需将模型转换为可被轻量级网络解释器解释的格式，其中最广为使用的就是 TF Lite（约 500 KB 大小）和 TF Lite Micro（约 20 KB）。模型将编译为可被大多数微控制器使用并可有效利用内存的 C 或 C++ 代码，由设备上的解释器运行。
图 8 TinyML 应用的工做流图。来源：Pete Warden 和 Daniel Situnayake 编写的《[TinyML](https://tinymlbook.com/)》一书。
大多数 TinyML 技术，针对的是处理微控制器所致使的复杂性。TF Lite 和 TF Lite Micro 很是小，是由于其中删除了全部非必要的功能。不幸的是，它们同时也删除了一些有用的功能，例如调试和可视化。这意味着，若是在部署过程当中出现错误，可能很难判别缘由。
另外，尽管模型必须存储在设备本地，但模型也必需要支持执行推理。这意味着微控制器必须具备足够大的内存去运行（1）操做系统和软件库；（2）神经网络解释器，例如 TF Lite）；（3）存储的神经网络权重和架构；（4）推理过程当中的中间结果。所以，TinyML 方向的研究论文在给出内存使用量、乘法累加单元（multiply-accumulate units，MAC）数量，准确率等指标的同时，一般还需给出量化算法的峰值内存使用状况。
为何不在设备上训练？
在设备上进行训练会引入额外的复杂性。因为数值精度的下降，要确保网络训练所需的足够准确率是极为困难的。在标准台式计算机的精度下，自动微分方法是大致准确的。计算导数的精度可达使人难以置信的 10^{-16}，可是在 8 位数值上作自动微分，将给出精度较差的结果。在反向传播过程当中，会组合使用求导并最终用于更新神经参数。在如此低的数值精度下，模型的准确率可能不好。
尽管存在上述问题，一些神经网络仍是使用了 16 位和 8 位浮点数作了训练。
第一篇研究下降深度学习中的数值精度的论文，是 Suyog Gupta 及其同事在 2015 年发表的“具备有限数值精度的深度学习”（Deep Learning with Limited Numerical Precision）。该论文给出的结果很是有意思，便可在几乎不下降准确率的状况下，将 32 位浮点表示形式降至 16 位固定点表示。但该结果仅适用于使用随机舍入（stochastic rounding）的状况，由于其在均值上产生无偏结果。
在 Naigang Wang 及其同事 2018 年发表的论文“使用 8 位浮点数训练深度神经网络”（Training Deep Neural Networks with 8-bit Floating Point Numbers）中，使用了 8 位浮点数训练神经网络。在训练中使用 8 位数值，相比在推理中要明显难以实现，由于须要在反向传播期间保持梯度计算的保真度（fidelity），使得在作自动微分时可以达到机器的精度。
计算效率如何？
能够经过定制模型，提升模型的计算效率。一个很好的例子就是 MobileNet V1 和 MobileNet V2，它们是已在移动设备上获得普遍部署的模型架构，本质上是一种经过重组（recast）实现更高计算效率卷积运算的卷积神经网络。这种更有效的卷积形式，称为深度可分离卷积结构（depthwise separable convolution）。针对架构延迟的优化，还可使用 基于硬件的概要（hardware-based profiling） 和 神经架构搜索（neural architecture search） 等技术，对此本文将不作详述。
新一轮人工智能革命
在资源受限的设备上运行机器学习模型，为许多新的应用打开了大门。使标准的机器学习更加节能的技术进步，将有助于消除数据科学对环境影响的一些担心。此外，TinyML 支持嵌入式设备搭载基于数据驱动算法的全新智能，进而应用在了从 预防性维护 到 检测森林中的鸟叫声 等多种场景中。
尽管继续扩大模型的规模是一些机器学习从业者的坚决方向，但面向内存、计算和能源效率更高的机器学习算法发展也是一个新的趋势。TinyML 仍处于起步阶段，在该方向上的专家不多。本文参考文献中列出了一些 TinyML 领域中的重要论文，建议有兴趣的读者去阅读。该方向正在快速增加，并将在将来几年内，成为人工智能在工业领域的重要新应用。请保持关注。
做者简介
Matthew Stewart，哈佛大学环境和数据科学博士研究生，Critical Future 公司机器学习顾问，我的博客地址：https://mpstewart.net
参考文献
[1] Hinton, Geoffrey & Vinyals, Oriol & Dean, Jeff. (2015).Distilling the Knowledge in a Neural Network.
[2] D. Bankman, L. Yang, B. Moons, M. Verhelst and B. Murmann, “An always-on 3.8μJ/86% CIFAR-10 mixed-signal binary CNN processor with all memory on chip in 28nm CMOS,” 2018 IEEE International Solid-State Circuits Conference — (ISSCC), San Francisco, CA, 2018, pp. 222–224, doi: 10.1109/ISSCC.2018.8310264.
[3] Warden, P. (2018).Why the Future of Machine Learning is Tiny. Pete Warden’s Blog.
[4] Ward-Foxton, S. (2020).AI Sound Recognition on a Cortex-M0: Data is King. EE Times.
[5] Levy, M. (2020).Deep Learning on MCUs is the Future of Edge Computing. EE Times.
[6] Gruenstein, Alexander & Alvarez, Raziel & Thornton, Chris & Ghodrat, Mohammadali. (2017).A Cascade Architecture for Keyword Spotting on Mobile Devices.
[7] Kumar, A., Saurabh Goyal, and M. Varma. (2017).Resource-efficient Machine Learning in 2 KB RAM for the Internet of Things.
[8] Zhang, Yundong & Suda, Naveen & Lai, Liangzhen & Chandra, Vikas. (2017).Hello Edge: Keyword Spotting on Microcontrollers.
[9] Fedorov, Igor & Stamenovic, Marko & Jensen, Carl & Yang, Li-Chia & Mandell, Ari & Gan, Yiming & Mattina, Matthew & Whatmough, Paul. (2020).TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids.
[10] Lin, Ji & Chen, Wei-Ming & Lin, Yujun & Cohn, John & Gan, Chuang & Han, Song. (2020).MCUNet: Tiny Deep Learning on IoT Devices.
[11] Chen, Tianqi & Moreau, Thierry. (2020).TVM: An Automated End-to-End Optimizing Compiler for Deep Learning.
[12] Weber, Logan, and Reusch, Andrew (2020).TinyML — How TVM is Taming Tiny.
[13] Krishnamoorthi, Raghuraman. (2018).Quantizing deep convolutional networks for efficient inference: A whitepaper.
[14] Yosinski, Jason & Clune, Jeff & Bengio, Y. & Lipson, Hod. (2014).How transferable are features in deep neural networks?.
[15] Lai, Liangzhen & Suda, Naveen & Chandra, Vikas. (2018).CMSIS-NN: Efficient Neural Network Kernels for Arm Cortex-M CPUs.
[16] Chowdhery, Aakanksha & Warden, Pete & Shlens, Jonathon & Howard, Andrew & Rhodes, Rocky. (2019).Visual Wake Words Dataset.
[17] Warden, Pete. (2018).Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition.
[18] Zemlyanikin, Maxim & Smorkalov, Alexander & Khanova, Tatiana & Petrovicheva, Anna & Serebryakov, Grigory. (2019).512KiB RAM Is Enough! Live Camera Face Recognition DNN on MCU. 2493–2500. 10.1109/ICCVW.2019.00305.
原文连接：
https://towardsdatascience.com/tiny-machine-learning-the-next-ai-revolution-495c26463868
将来智能实验室的主要工做包括：创建AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提高企业，行业与城市的智能水平服务。
若是您对实验室的研究感兴趣，欢迎加入将来智能实验室线上平台。扫描如下二维码或点击本文左下角“阅读原文”