堆叠式传感器架构带来先进的视觉功能

堆叠式传感器架构带来先进的视觉功能

Stacked sensor architecture brings advanced vision capabilities

巴黎-巴黎Prophesee公司是神经形态视觉系统的先驱，本周在旧金山举行的国际固态电路会议（ISSCC）上展示了一种与索尼公司（Sony Corp.）联合开发的基于事件的新型视觉传感器。

由ProphereSee的事件驱动技术设计的新传感器是基于Sony为先进的叠层CMOS图像传感器设计的技术。

像素芯片（左）和逻辑芯片

Prophesee声称，对于事件驱动系统，新传感器提供了业界最小的像素大小和业界最高的高动态范围（HDR）性能。这种以大脑为灵感的传感器将使工业机器、机器人和自动驾驶车辆更好地观察和感知环境。

这一合作关系可能预示着一个新时代的到来，在这个时代，人工智能——包括人工智能感知和人工智能处理——可以在非常接近传感器的地方进行，如果不是在传感器本身，即数据产生的地方。

像素芯片（左）和逻辑芯片

Prophesee声称，对于事件驱动系统，新传感器提供了业界最小的像素大小和业界最高的高动态范围（HDR）性能。这种以大脑为灵感的传感器将使工业机器、机器人和自动驾驶车辆更好地观察和感知环境。

这一合作关系可能预示着一个新时代的到来，在这个时代，人工智能——包括人工智能感知和人工智能处理——可以在非常接近传感器的地方进行，如果不是在传感器本身，即数据产生的地方。

潘朵拉盒子

Yole Développement首席分析师皮埃尔•坎布（Pierre Cambou）认为，索尼与索尼的合作相当于“打开潘多拉的盒子”

坎布指出，在Prophesee开发的神经形态相机中，“每个像素，本质上都是一个神经元。”。坎布称芯片堆叠的发展“仍处于早期阶段”，他预测，接下来，神经元、记忆和处理能力都可以堆叠在一起。当前人们对将更多的智能带到“边缘”或“端点”的热情预示着未来有一天，人工智能将在传感器内被感知和处理。

坎布解释说，索尼将能够开发一种“可以在飞行中增强图像”的人工智能集成图像传感器，或者创建一种“直接提供基于事件的感知”的图像传感器。

事实上，已经有人将神经网络应用到“火车到达拉西奥塔”（1896年由卢米埃兄弟拍摄的著名早期电影）中，以填补缺失的像素。这一努力使这部有124年历史的电影重获新生，并将其升级到每秒60帧的4K视频。坎布将这种升级的视频描述为互联网上的风靡一时，他解释说，人工智能的力量已经在成像领域得到了很好的证明。

人工智能的仿生方法是von Neumann计算的另一种选择。坎布说：“随着人工智能越来越普及，它的重要性将增加。”。

Building blocks for stacked event-based vision sensor

在新设计的事件驱动传感器中，像素芯片（顶部）和逻辑芯片（底部）堆叠在一起。该逻辑包含信号处理电路，设计用于检测基于异步增量调制方法的亮度变化。

两个独立芯片的每个像素以堆叠配置使用铜-铜连接进行电连接。

这使得新的传感器可以达到业界最小的（4.86μm）像素大小。它还提供了1/2类型，1280×720高清分辨率，实现了高密度集成和精细的40nm逻辑处理。

新事件驱动传感器的另一个特点是它能够提供Prophesee声称的业界最高的HDR性能：124dB（或更高）。研究小组通过在像素芯片（顶部）上只放置背光像素和N型MOS晶体管的一部分来实现这一点。根据ProphereSee的说法，这使得光圈比提高了77%。索尼多年来为CMOS图像传感器开发的高灵敏度/低噪声技术使得在弱光条件下（40mlx）的事件检测成为可能。

Division of labor?

分工？

Prophesee首席执行官Verre指出，索尼在合作伙伴关系中的角色并不局限于铸造厂。凭借扎实的知识和自己的基于事件的技术的IP产品组合，Verre说，“我们带着一个清晰的想法来讨论我们想要如何设计像素。”两家公司的合作使得新的事件驱动传感器设计成为可能——从模拟、逻辑和电源——与索尼的先进制造相结合过程。

维尔尔指出，这种关系也不是纯粹的研发活动。其目的是保持一种长期的合作关系，在开发应用程序的同时将技术带到商业市场。

What does this mean to Sony?

这对索尼意味着什么？

世界上有许多CMOS成像传感器的参与者。坎布观察到，索尼将CMOS图像传感器“不再仅仅是成像，而是真正的感知”的预测放在心上，这是坎布长期以来一直在宣扬的福音。

还记得索尼在2015年收购比利时的SoftKinetic，一家3D传感计算机视觉技术的开发商吗？坎布说，这一收购使索尼能够在不断增长的飞行时间（ToF）传感器市场上分得一杯羹，而Android智能手机厂商去年突然开始要求这种传感器。坎布说，试想一下，如果当时索尼没有涉足深度传感技术，会发生什么。

在他看来，与PropheseSee的合作也没什么不同。当汽车和工业机器视觉市场的参与者开始寻找更丰富的传感数据来增强他们的操作时，他们更有可能添加一种新的传感技术，而不是再投入另一个相同的摄像头。

简言之，ProphetSee可能是一家授权索尼进入事件驱动图像传感器市场的公司，正如SoftKinetic使索尼能够开发“深度感知”解决方案并将其推进智能手机。

现在，凭借其DepthSense技术，索尼正在将ToF图像传感器安装到许多Android智能手机上。这为索尼已经在智能手机的前置和后置摄像头中积累了大量的CMOS图像传感器设计。