贾扬清：我对人工智能方向的一点浅见

阿里妹导读：做为 AI 大神，贾扬清让人印象深入的多是他写的AI框架Caffe ，那已是六年前的事了。通过多年的沉淀，成为“阿里新人”的他，对人工智能又有何见解？最近，贾扬清在阿里内部分享了他的思考与洞察，欢迎共同探讨、交流。

贾扬清，浙江上虞人，毕业于清华大学自动化系，在加州大学 Berkeley 分校得到计算机博士学位，目前担任阿里计算平台掌门人。

最近几年深度学习的流行，你们通常认为是从2012年 AlexNet 在图像识别领域的成功做为一个里程碑。AlexNet 提高了整个业界对机器学习的接受程度：之前不少机器学习算法都处在“差很少能作 demo ”的程度，可是 AlexNet 的效果跨过了不少应用的门槛，形成了应用领域井喷式的兴趣。

固然，任何事情都不是一蹴而就的，在2012年之前，不少成功的因素已经开始逐渐显现：2009年的 ImageNet 数据库奠基了大量标注数据的基础；2010年开始，IDSIA 的 Dan Ciresan 首次用 GPGPU 进行物体识别；2011年，北京的 ICDAR 大会上，神经网络在中文离线识别上大放异彩。就算是 AlexNet 中用到的ReLU层，早在2001年神经科学的文献中就有说起过。因此，必定程度上说，神经网络的成功也是一个水到渠成的过程。2012年之后的事情，你们能够读到不少，这里就再也不赘述。

成功与局限

在看待神经网络成功的同时，咱们也要进一步深挖其背后的理论背景和工程背景，为何神经网络和深度学习在几十年前失败，可是如今却成功了？它成功的缘由是什么？而它的局限又在什么地方？咱们这里只能片面地说几个重点：

• 成功的缘由，一点是大数据，一点是高性能计算。
• 局限的缘由，一点是结构化的理解，一点是小数据上的有效学习算法。

大量的数据，好比说移动互联网的兴起，以及 AWS 这样低成本得到标注数据的平台，使机器学习算法得以打破数据的限制；因为 GPGPU 等高性能运算的兴起，又使得咱们能够在能够控制的时间内（以天为单位甚至更短）进行 exaflop 级别的计算，从而使得训练复杂网络变得可能。要注意的是，高性能计算并不只限于 GPU ，在 CPU 上的大量向量化计算，分布式计算中的 MPI 抽象，这些都和60年代就开始兴起的 HPC 领域的研究成果密不可分。

可是，咱们也要看到深度学习的局限性。今天，不少深度学习的算法仍是在感知这个层面上造成了突破，能够从语音、图像，这些非结构化的数据中进行识别的工做。在面对更加结构化的问题的时候，简单地套用深度学习算法可能并不能达到很好的效果。有的同窗可能会问为何 AlphaGo 和 Starcraft 这样的算法能够成功， 一方面，深度学习解决了感知的问题，另外一方面，咱们也要看到还有不少传统的非深度学习算法，好比说 Q-learning 和其余加强学习的算法，一块儿支撑起了整个系统。并且，在数据量很是小的时候，深度学习的复杂网络每每没法取得很好的效果，可是不少领域，特别是相似医疗这样的领域，数据是很是难得到的，这多是接下去的一个颇有意义的科研方向。

接下去，深度学习或者更普遍地说，AI 这个方向会怎么走？我我的的感受，虽然你们前几年一直关注AI框架，可是近年来框架的同质化说明了它再也不是一个须要花大精力解决的问题，TensorFlow 这样的框架在工业界的普遍应用，以及各类框架利用 Python 在建模领域的优秀表现，已经能够帮助咱们解决不少之前须要本身编程实现的问题，所以，做为 AI 工程师，咱们应该跳出框架的桎梏，往更普遍的领域寻找价值。

挑战

往上走，咱们会遇到产品和科研的不少新挑战，好比说：

• 传统的深度学习应用，好比说语音、图像等等，应该如何输出产品和价值？好比说，计算机视觉如今基本仍是停留在安防这个层面上，如何深刻到医疗、传统工业，甚至社会关爱（如何帮助盲人看见这个世界？）这些领域，是不只须要技术，还须要产品的思考的。
• 除了语音和图像以外，如何解决更多问题。在阿里和不少互联网企业中有一个“沉默的大多数”的应用，就是推荐系统：它经常占据了超过80%甚至90%的机器学习算力，如何将深度学习和传统推荐系统进一步整合，如何寻找新的模型，如何对搜索和推荐的效果建模，这些可能没有像语音和图像那么为人所知，倒是公司不可缺乏的技能。
• 即便在科研方向，咱们的挑战也刚刚开始：Berkeley 的教授 Jitendra Malik 曾经说，“咱们之前是手工调算法，如今是手工调网络架构，若是囿于这种模式，那人工智能没法进步”。如何走出手工调参的老路，用智能提高智能，是个很是有意思的问题。最开始的 AutoML 系统依然停留在用大量算力暴力搜索模型结构的层面上，可是如今各类更高效的 AutoML 技术开始产生，这是值得关注的。

机会

往下走，咱们会发现传统的系统、体系结构等知识，计算机软件工程的实践，会给 AI 带来不少新的机会，好比说：

• 传统的 AI 框架都是手写高性能代码，可是模型如此多变，新的硬件平台层出不穷，咱们应该如何进一步提高软件效率？咱们已经看到有经过编译器技术和传统的人工智能搜索方法来反过来优化AI框架，好比 Google 的 XLA 和华盛顿大学的 TVM，这些项目虽然处于早期，可是已经展示出它们的潜力。
• 平台如何提高整合能力。在开源领域，你们的作法是一我的，一台机器，几个 GPU ，训练比较学院派的模型。可是在大规模应用中，咱们的数据量很是大，模型很是复杂，集群还会出现各类调度的挑战（能不能一会儿就要求256个 GPU ？计算资源是否能够弹性调度？），这些对于咱们本身的机器学习平台，以及云上向客户提供的服务，都提出了很是多的挑战。
• 如何进行软硬件的协同设计。在深度学习的计算模式开始逐渐固化的时候（好比说 CNN ），新硬件和特殊硬件（好比 ASIC ）的优点就开始体现出来了。如何实现软硬件的协同设计，防止“硬件出来了，不知道怎么写程序”或者“模型已经变了，硬件一出来就过期了”这样的问题，会是未来几年中很大的方向。

人工智能是一个突飞猛进的领域，咱们有一个笑话说，2012年的科研成果，如今提及来都已是上古时代的故事了。快速的迭代带来的大量机遇和挑战是很是使人兴奋的，不管是有经验的研究者仍是新学 AI 的工程师，在当今云化，智能化的年代，若是能快速学习并刷新算法和工程的各类挑战，就能够经过算法创新引领而且赋能社会各个领域。这方面，人工智能领域开源开放的各类代码，科研文章和平台给你们创造了比之前更容易的入门门槛，机遇都掌握在咱们本身手中。

原文连接 本文为云栖社区原创内容，未经容许不得转载。