和 Nature 封面论文一做，聊了聊天机芯的科研故事

邓磊，清华首位类脑计算博士、美国加州大学圣芭芭拉分校博士后。8 月 1 日《 Nature 》杂志的封面上，展现了文章《面向人工通用智能的异构天机芯片架构》，他做为第一做者，负责了芯片的设计和算法细节。

该论文实现了中国在芯片及 AI 领域《天然》论文零的突破，左边为论文第一做者邓磊

上周四，由清华大学科协星火论坛联合清华大学类脑计算研究中心，以及 HyperAI超神经，举办了「从 AlphaGo 到类脑天机芯片，人工智能走向何处」的主题论坛。邓磊做为特邀嘉宾受邀出席，以圆桌论坛的形式分享了本身的一些观点。本文将跟随论坛上的问题，回顾他在 AI 和类脑计算领域的一些洞见。

学并探索着：类脑计算中心的第一个博士

提问：您是怎么进入到类脑计算这个研究方向的？这个学科具体涉及到哪些内容？

当年读类脑计算博士的时候，类脑计算还未普及，当时还搜索了一下，并无查到太多有效信息，以后还特地询问了导师……

做为类脑计算研究中心的第一个博士，我见证了类脑中心从零开始走到如今。包括后来的开公司、作研究。2017 年以后，我毕业去了美国，以后转到偏计算机的方向。如今有 50% 是作理论， 50% 是作芯片。

我本科是作机械的，后来发现作机械没有太多天赋，就慢慢转到作仪器，后来还去作过机器人，研究过一些材料和微电，以后开始作 AI 的一些算法、理论，最后才到芯片，慢慢进入到类脑计算。一路上不断走不断学，大概是这样一个过程。

邓磊于 2017 年完成博士学位答辩,当时清华类脑计算研究中心全体合影

注：清华大学类脑计算研究中心，于 2014 年 9 月创立，涉及基础理论、类脑芯片、软件、系统和应用等多个层面。此中心由清华大学校内 7 家院系所联合而成，融合了脑科学、电子、微电子、计算机、自动化、材料以及精密仪器等学科。

类脑计算的研究涉及到了多学科交叉融合。源头确定仍是医学（脑科学），如今的人工智能最初脱胎于心理学和医学，它们为模型提供了一些依据。

接下来的就是机器学习，之后它们确定仍是会走到一块儿，但如今分开来说，是由于机器学习有更多作产品的经验，一般是从应用的角度来进行思考。

此外还有计算机科学，如今有 GPU 解决不了的问题，因此阿里华为都开始作本身的专用芯片，对计算架构方向的学生，也能够考虑往这个方向发展。

再往下就是芯片等硬件，这涉及到微电子甚至材料，由于要提供一些新的器件，如今仍是用的一些很基础存储单元，但将来确定会有一些新的器件，好比说碳纳米管、石墨烯等材料能不能应用进来。

另外还有自动化方向，不少作机器学习的人，一般是计算机系和自动化系的，由于自动化是作控制作优化，这和机器学习有殊途同归的地方。在类脑计算中，这些学科很好的融合在了一块儿。

做为清华类脑计算研究中心的第一位博士,博士在读期间，他发表了 9 篇学术论文，申请了 22 项专利

提问：当时是有什么样的驱动，或者说什么样的契机，最终选择了这个方向?

用一句话来讲，这个方向最大的魅力在于它作不完。

我曾经想过一个哲学悖论，研究类脑计算跟人脑分不开，但用人脑来思考人脑，并不知道会达到什么程度，对它的研究也就永无止尽。

由于人类对本身的思考，是永远会存在的，老是会经历高潮，而后进入平淡期，忽然又出现了突破，它永远不会中止。这个角度去看是很值得研究的。

提问：您目前所在的博士后阶段，研究上有哪些不一样？

之前在清华作芯片，更多的是从实用的角度，想的是我能作一个设备，或者一个仪器出来。

可是去美国后，更多的是从学科的角度来考虑这个事情，就像计算专业的计算架构，就像 ACM 不少图灵奖，都是历来这方面来看待问题，虽然作一样的事情，思考的角度就不同了。

若是从计算架构的角度来看，任何一个芯片无非就是计算单元、存储单元、通讯就这三个方面，无论怎么作，都是这三个事情的范畴。

天机芯和类脑计算：自行车不是重点

提问：Nature 的这篇文章，是一个里程碑的事件。在过去的几十年中，您认为的里程碑事件有哪些？在类脑计算领域，又有哪些事件推进了行业的发展？

类脑计算这个领域相对复杂，我从人工智能的脉络来梳理，会更明显一些。

人工智能不是单一的学科，基本上能够分为四个方向。第一个是算法方面，第二个是数据，第三个是算力，最后是编程工具。里程碑的事件能够从这四个方向来看。

就算法来说，固然是深度神经网络，这个是毋庸置疑的；从数据的角度来讲，ImagNet 是一个里程碑，以前没有大数据的加持，深度神经网络几乎被埋没。

在算力的角度，GPU 是一个很伟大的诞生。编程的工具，像 Google 的 TensorFlow 之类普及的应用，是推进发展的一个重要因素。

这些事情促进了 AI 的前进，并且它们是一个迭代发展的过程，缺了一个都不会有今天的局面。但 AI 也有本身的局限性，好比 AlphaGo ，它只能进行单任务，除了下棋别的就作很差。这跟大脑是不同的。

第二个就是可解释性，咱们用深度神经网去进行拟合，包括用增长强化学习，但它们内部发生了什么事情，仍是不清楚的，一些人正在试图将这个过程可视化或弄清楚它的原理。

第三个是鲁棒性， AI 不像人同样稳定。好比自动驾驶，如今的 AI 也只是被用于辅助驾驶，是由于它还不能保证绝对的安全。

由于这些缺点，必需要去关注脑科学的发展，引入更多的脑科学的机制。在我看来，最迫切的就是让智能更通用化。

邓磊在周四的星火论坛中发言

至于里程碑的事件，AlphaGo 算得上一个。由于它把 AI 抬到公众的视野中，让全部人去关注 AI，并且强化学习也是在以后才火起来的。

从芯片的角度来讲，有侧重算法和受生物脑启发两类芯片，在这两类芯片的发展中，分别有两个里程碑。

第一类是机器学习方面，如今深度神经网络都是在 GPU 上计算，但 GPU 不是最高效的，有一批公司像寒武纪，在寻找替代 GPU 的方案，这是一个重要的事件。

另外一类不局限于机器学习，是从大脑的角度找模型作专用的芯片，这方面 IBM 或者英特尔作的比较好。

天机芯片之因此很受关注，就在于将这两类各自的优点，集成到了一个架构上去。

提问：大家团队发布了天机芯在自行车上的测试，能具体介绍一下这方面吗？

在网上你们都被自行车所吸引，但咱们团队都知道，自行车不是咱们的重点，它只是一个 Demo 的平台，由于当时咱们在想，要找一个好的平台去给你们展现。

应用了天机芯的自行车,能够完美的自行运动，躲避障碍

自行车的演示中，有视觉、听觉还有运动控制，经过一个芯片去完成这些功能，是一个比较理想的平台。当时是从这个角度去考虑的，自行车控制并非很难，咱们只是想展现一种新的模式。

类脑计算的将来：打破冯诺依曼架构

提问：将来的人工智能或者类脑计算，和现有的冯诺依曼架构有什么联系？它们是否会朝着人脑的形态演变？

这是一个很重要的问题，如今的半导体行业，就有一个基本的趋势，包括 18 年的图灵奖，也是颁给了作计算架构研究的研究者。

试图让 GPU 提升性能，有两个方向，第一是把晶体管作小，就是物理微缩，遵循摩尔定律。但这两年你们意识到摩尔定律开始失效了，相关的发展愈来愈慢，总有一天会没法作小了。

摩尔定律正在减缓

另外一个方向就是作计算架构，设法经过设计框架，让计算单元、存储单元、通讯，这个三部分都发挥很高的效率。

人脑就很神奇，经过学习的积累，每一代人知识都在增加，咱们要去借鉴这种知识的演化。

上个世纪，通用处理器的发展基本上遵循摩尔定律，由于之前晶体管能越作越小，计算架构的发展被必定程度埋没。如今摩尔定律受阻以及 AI 这类须要追求高处理效率的应用，使得计算架构的研究又从新受到重视，将来十年也将是专用处理器的黄金时期。

对于类脑研究，你们问得最多的问题是，类脑计算能干什么？

这是一个很致命的问题，如今不少作人工智能或作脑科学的人，都不清楚其背后的机理是什么。就拿脑科学来讲，有三个层次目前还比较脱节。

第一个是神经细胞究竟如何工做。这个问题，不少医学家或者生物学家，都还在进行艰难的探索研究。

第二个是神经细胞之间是怎么链接的，大脑里面有 10 的 11 次方量级的神经细胞，它们是如何联系起来的，也比较难理清楚，须要借助光学和物理学的力量。

最后，还要知道它们怎么学习的，这也是最难但最重要的一个问题。

每个方面都有一个鸿沟，但困难不能成为放弃探索的理由。若是绝不做为，就一点机会都没有。在每一个层面上作一些事情，最后老是会诞生一些新的东西，然后不断地进行迭代。

圆桌论坛现场，左二为邓磊博士

若是要等到脑科学搞清楚了再去进行，那就晚了，别人确定就超前了。

好比作 CPU 这件事情，就不像你们想的那么简单，不是说中国人不聪明，发动机也是同样，原理你们都懂，可是要想作好却不容易，工程难度和技术积累非一日之功。

其中一个缘由在于，许多东西都有很大的产业链，若是最开始没有去作，就失去了不少试错的机会。

这个领域不会实现快速的突破，只能去脚踏实地进行。至于之后，如今的人工智能、强人工智能，人工智能 2.0 和类脑计算，我以为它们最后都会异曲同工，由于他们都源于大脑，只是导向不一样而已。

提问：前段时间在 Nature 上还有另一篇文章，研究人员画出了线虫所有神经元的完整图谱，以及所有神经元之间全部的 7000 个链接。

提问：这个工做和类脑研究有没有联系？能不能用现有技术，或者冯诺依曼的 CPU 去模拟线虫这个工做，另外接下来 3 到 5 年，咱们能够期待什么样的事情发生？

科学家绘制的线虫脑部神经元连接

我看过那个线虫结构的研究，它对类脑研究有很大的影响。其实如今的 AI 模型，无论是类脑计算，仍是人工智能，它的链接结构大多仍是脱胎于如今的层级深度神经网络，其实是十分粗浅的。

咱们大脑不是一个简单的层状网络，大脑更像一个图。并且各个脑区之间的联系，是很复杂的。这个研究的意义，在于让咱们思考是否能借鉴这种链接方式。

以前有一个观点，是说在神经网络的结构中，链接结构的做用实际上大于每个链接的具体权值，也就是链接的意义是大于每个参数的意义。

卷积神经网络为何可以比之前的神经网络要厉害一些，就在于它的链接结构不一样，因此它提取特征的能力就会强一些，这也说明链接结构会致使结果的变化。

能不能在传统的处理器上去作到这个成果，实际上是有点困难的。冯诺依曼架构里面最典型的是，须要一个很明确的存储单元，一个很明确的计算单元。

传统的冯诺依曼架构示意图

但咱们大脑里面没有那么明确的界限，虽然咱们有海马体专门负责长期记忆，但从神经元网络层面来说你并不清楚大脑哪一团细胞必定就是存储，哪些只是计算。大脑更像是一个混沌的网络，计算和存储难以区分，因此从这个角度上来说的话，很难用之前传统的那些芯片或者处理器的技术来作。

因此咱们必需要开发一些新的非冯诺依曼的方法，用新的架构方式支持，去作类脑方式的研究。

好比 2018 的图灵奖，就宣告专用领域的芯片会愈来愈火。英伟达如今推广的，就是异构架构，在一个平台里面有各类各样的小的芯片 IP 核，可能这个就相似人的脑区同样。

因此，如今再也不像从前用一个 CPU 解决全部的事情，也没有一个芯片可以高效解决全部的事情。将来会逐渐走向各类高效专用的发展技术，这是目前的一个趋势。

邓磊认为，将来类脑计算和 AI 研究最终会异曲同工

如今你们对脑科学或者类脑计算的理解，没有人工智能那么透彻，有一个很重要的缘由，是投资者以及产业界，尚未过多的介入。

所以，无论是数据算力仍是工具，都难以作起来。类脑计算就处于一个这样的初级阶段，相信之后当愈来愈多的大学和公司投入进来，就会明朗不少。

提问：类脑芯片的架构，和传统的冯诺依曼架构有哪些方面的不一样？

将类脑芯片进行拆分，能够分为类脑和计算。在类脑的角度上，它不是仅有 AI 里面的深度神经网络，还结合了一些脑科学的计算。

从架构方面，冯诺依曼体系中有一个瓶颈，整个半导体行业的架构其实都在面临这个难题：存储的容量愈来愈大，它速度就愈来愈慢，

若是想扩大规模又想高速，就不可能实现。基本上作设计架构的人，可能是在研究优化存储层级，怎么样让它变快。

天机和其余架构不同，没有用到那些须要扩展的存储器。天机芯片更像一个大脑，至关于细胞连成了不少小回路，小回路又扩展成了不少网络，最后构成功能区和系统，它是一个容易扩展的结构，而不是像 GPU 那样。

天机芯片单片和 5×5 阵列扩展板

天机芯的众核去中心化架构决定了，它能比较容易地扩展成大的系统，没有存储墙的约束，其实是存算融合的非冯诺依曼架构。这是在架构层面和现有处理器最大的一个区别，前面是模型层面的区别，基本上就这两大类的区别。