Nature | 光学CNN层替换传统CNN层，超省电

CNN 计算效率的研究一直备受关注，但因为功率和带宽的严格限制，CNN 仍难以应用在嵌入式系统如移动视觉、自动驾驶中。在斯坦福大学发表在 Nature 旗下 Scientific Reports 的这篇论文中，研究者提出在 CNN 网络前端替换一个光学卷积层（opt-conv）的方案，能够在保持网络性能的同时显著下降能耗，并在 CIFAR-10 数据集的分类任务上验证了其结论。光学卷积层也就是用光学器件实现的卷积层，其光学运算具有高带宽、高互联和并行处理特性，并能光速执行运算，功耗接近于零。该技术有望在低功耗机器学习领域获得进一步发掘。

选自Nature

做者：Julie Chang 等

引言

深度神经网络已在各个领域取得了普遍应用，从计算机视觉到天然语言处理以及游戏等。卷积神经网络（CNN）利用各类图像特征的空间不变性，在图像分类、图像分割甚至图像生成等计算机问题中很是受欢迎。随着各种任务的性能大幅提升，这些网络中的参数和节点数也急剧增长，训练和使用这些网络的能耗和内存也相应增长。

虽然学习网络权值的训练阶段很缓慢，但在推理过程当中，因为要数百万次的引用内存和矩阵乘法，就算是大型模型也须要大量能耗和内存。为了提升效率，可采起保持性能的同时压缩 CNN 的方法，包括修剪法、量化训练、霍夫曼编码，以及更换架构。硬件方面，有不少机器学习的专门处理单元，如如 IBM 的 TrueNorth 芯片、Movidius 视觉处理单元（VPU）、谷歌的张量处理单元（TPU）。其余以推理为重点的针对嵌入式视觉应用尝试将一部分图像处理结合到传感器上，以消除或减小将完整图像数据传送处处理器的需求。CNN 计算效率的研究一直备受关注，但因为功率和带宽的严格限制，CNN 仍难以应用在嵌入式系统如移动视觉、自动驾驶和机器人、无线智能传感器中。

研究者试图采起一种互补的策略，在模拟电路或数字电路计算前增长一层光学计算，提升性能的同时，仅增长最小电路的计算成本和处理时间。光学计算因其高带宽、高互联和固有的并行处理特性而备受关注，计算速度都为光速。在自由空间或光子芯片上就能够进行一些超低功耗甚至零功耗的操做。做为构建光学 CNN 的框架，可优化和扩展的光学配置将保留这些优点，并将引发计算机视觉、机器人、机器学习和光学社区的兴趣。光学神经网络（ONN）最初是由光学器件执行计算量巨大的全链接层矩阵乘法的研究引发。最近在学术研究和工业领域都从新引发了人们的关注。然而，ONN 的文献中都未涉及卷积层，但卷积层在计算机视觉应用中很是重要。此外，这些方法都是利用相干光做为信号发展起来的，这使它们难以适应计算摄像系统。

研究者从计算成像的角度实现光学 CNN：经过光学和算法协同设计，将图像采集和计算结合起来。计算型摄像机利用定制光学器件中光的物理传播特性，来编码在标准 2D 图像抓取中丢失的场景信息。研究者提出一个位于前馈 CNN 以后的计算成像系统模型，用来协助输入图像的分类。经过将 CNN 的第一个卷积层引入光学器件，能够减小推理过程当中的电路处理器的负载。此外，在成像场景中，输入信号已是光信号了，因此在传感器读取以前，很容易经过额外的无源光学元件进行传播。ASP 视觉系统曾探究过一种混合光电 CNN 的概念，使用 angle sensitive pixel（APS）来近似经典 CNN 的第一个卷积层，可是卷积核集是固定的。同时另外一项研究将优化的元素结合到神经网络启发的多层光学系统中，但并无建立出新的 CNN。相比之下，他们的目标是设计一个带有光学卷积层的系统，用于解决特定分类优化问题，进而经过自定义的光电 CNN，实现低功耗推理。

本文提出一种光学卷积（opt-conv）层的设计，该层具备可优化的相位掩模，该掩模利用由线性和空间不变的成像系统执行的固有卷积。首先研究者在两个模拟模型的图像分类中测试了他们的方法。光学相关器做为卷积层中最简单的应用，由一个对图像进行了模板匹配的卷积层构成，曾被用于光学目标检测和追踪。下面将说明 opt-conv 层如何拟合更大的混合光电 CNN，该卷积层的输出会馈送到数字化的全链接层。在这两种状况下，研究者证实了模拟光电配置的分类准确率能够与同一网络结构的无约束电子的分类准确率相媲美。最后研究者经过建立优化的相位掩模并构建双层混合光电网络原型，在灰度 CIFAR-10 数据集上进行分类，验证了模拟结果。数字全链接层在测试数据集上的分类准确率约为 30%，而研究者采用的模型原型获得了 44% 以上的准确率，在计算成本相同时，可获得近 50% 的单层性能提高。相比之下，增长一个标准卷积层也能提高类似的准确率，但会使计算成本数量级增长。综上，研究者证实了包含初始光学计算层的混合光电卷积神经网络如何在性能上获得提高，同时将系统的延迟或功耗降到最低。

论文：Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification

论文连接：https://www.nature.com/articles/s41598-018-30619-y#author-information

卷积神经网络（CNN）在各种计算机视觉应用中都有惊艳表现，但它们的高性能须要以高计算成本为代价。尽管在算法和硬件方面都有所提升，但因为功率限制，在嵌入式系统中运行 CNN 仍然很困难。在本文中，研究者尝试采起一种互补的策略，在电路计算前增长一层光学计算，在提升图像分类性能同时，仅增长最小电路计算成本和处理时长。研究者设计了一种基于优化衍射光学元件的光学卷积层，并在两个模拟实验中进行了测试：一个学习到的光学相关器和一个双层光电 CNN。研究者在仿真和光学原型中证实了他们的光学系统的分类准确率能够与对应的电学实现相媲美，同时大大节省了计算成本。

图 1：光学卷积层设计。（a）4f 系统图，能够经过在傅里叶平面上放置相位掩模来实现光学卷积层（opt-conv）。（b）数字卷积层的标准组成，包括输入图像、卷积核堆栈和相应的输出量。（c）opt-conv 层中的等效组成，核和输出以二维数组的形式平铺在平面，而不是堆叠在深度维数中。

实验结果

图 2：学习到的光学相关器。（a）光学相关器示意图，其中 conv 块由图 1 所示的 4f 系统组成。（b）多通道无约束数字卷积层、多通道非负数字卷积层、平铺核单通道 opt-conv 层，以及以先前优化的平铺核为目标的相位掩模优化产生的 PSF 的特征优化核。

图 3：混合光电 CNN。（a）有单个 opt-conv 层的模型原理图，对传感器图像进行处理并送入后续的数字 CNN 层。（b）优化的相位掩模模板和生成的相位掩模在不一样缩放级别的显微图像。（c）在相应的正（顶部两行）和负（底部两行）子图像作差后，由相位掩模、样本输入图像、各自传感器图像和假阴性子图像产生的 PSF 的仿真和捕获版本的比较。

表 1：各种模型中的混合光电 CNN 在灰度 CIFAR-10 中分类的表现。模拟模型的分类准确率是五次试验的平均值。计算了模拟模型的标准差。在相关时，学习参数和 FLOP 被分为网络的光学部分和电学部分。

参考连接：https://www.nature.com/articles/s41598-018-30619-y#author-information