准确率已成过去式，AI人工智能领域的这些趋势在2020年更受关注

做者 | 机器之心
来源 | ID: almosthuman2014

人工智能不是将要改变世界，而是正在改变世界。在新年以及新的十年开启之际，VentureBeat 采访了人工智能领域最杰出的头脑，来回顾人工智能在 2019 年的进展，展望机器学习在 2020 年的前景。受访者包括 PyTorch 之父 Soumith Chintala、加州大学教授 Celeste Kidd、谷歌 AI 负责人 Jeff Dean、英伟达机器学习研究负责人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。

其中部分人预测半监督学习和神经符号方法等子领域将出现进展，而几乎全部受访者一致认同 2019 年基于 Transformer 的天然语言模型取得巨大进步，也都认为对人脸识别等争议性技术的讨论仍会持续。此外，他们还指望 AI 领域再也不只以准确率论输赢。

PyTorch 之父 Soumith Chintala

PyTorch 负责人、首席工程师和创造者 Soumith Chintala

不论用哪一种衡量方式，PyTorch 都是如今全世界最流行的机器学习框架。PyTorch 是基于 2002 年发布的 Torch 开源框架的衍生，于 2016 年发布初始版本，目前其扩展和库均稳步增加。

在 2019 年秋季举办的 PyTorch 开发者大会上，Facebook 发布了 PyTorch 1.3 版本，该版本支持量化和 TPU 支持。会上还发布了深度学习可解释性工具 Captum 和 PyTorch Mobile。此外，还有机器人框架 PyRobot 和代码共享神器 PyTorch Hub，鼓励机器学习从业者拥抱可复现性。

在此次 PyTorch 开发者大会上，Chintala 表示：2019 年机器学习领域几乎没有突破性进展。

「我认为，自 Transformer 以后，基本上没有什么突破。2012 年 CNN 在 ImageNet 大赛上夺冠，迎来了高光时刻，2017 年是 Transformer。这是个人我的见解。」他说。

他认为 DeepMind 的 AlphaGo 对强化学习的贡献是突破性的，但其结果很难在现实世界的实际任务中实现。

Chintala 还认为，PyTorch 和 TensorFlow 等机器学习框架的演化改变了研究者探索新思路和作研究的方式。「这些框架使研究者的速度比以前快了一两个数量级，从这个角度看，这是一项巨大突破。」

2019 年，谷歌和 Facebook 的开源框架都引入了量化，用于提高模型训练速度。Chintala 预测，2020 年 PyTorch 的 JIT 编译器和神经网络硬件加速器（如 Glow）等工具的重要性和采用范围将迎来「爆发」。

「从 PyTorch 和 TensorFlow 中，能够看到框架的融合趋势。量化以及大量其余较低级功能出现的缘由是，框架之争的下一战是编译器——XLA（TensorFlow）、TVM（陈天奇团队）、Glow（PyTorch），大量创新即将出现。将来几年，大家会看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何针对新硬件执行自动编译。」

和本文大多数受访者同样，Chintala 预测 2020 年 AI 社区将用更多度量指标衡量 AI 模型的性能，而不只仅是准确率。社区将注意力转向其余因素，如建立模型所需的电量、如何向人类解释输出结果，以及如何使 AI 更好地反映人类想要构建的社会。

「回望过去五六年，咱们只关注准确率和原始数据，例如『英伟达的模型更准确，仍是 Facebook 的模型更准确？』我认为，2020 年咱们将（以更复杂的方式）思考，若是模型不具有良好的可解释性（或知足其余标准），那就算准确率高出 3% 又怎样呢？」Chintala 表示。

加州大学教授 Celeste Kidd

加州大学伯克利分校发展心理学家 Celeste Kidd。

Celeste Kidd 是加州大学伯克利分校 Kidd 实验室的主管，她和她的团队致力于探索儿童的学习方式。他们的看法能够帮助那些尝试以相似于培养儿童的方式训练模型的神经网络建立者。

Kidd 表示：「人类婴儿不须要标注数据集，但他们也能学习得很好。这其中的关键在于咱们须要理解这其中的原理。」

她认为，当你对婴儿的行为综合分析后，你确实会看到他们理解一些事物的证据，可是他们并不是完美的学习者。「婴儿能自动学习不少东西」这种说法是对婴儿能力的过分美化。

「婴儿很棒，但他们也会出不少错。我看到人们随意地进行对比，将婴儿的行为理想化了。我认为人们将会更加剧视如何将当前的研究和将来的研究目标之间的联系」

在 AI 领域，「黑箱」一词已诞生多年，该词经常使用于批评神经网络缺少可解释性。但 Kidd 认为，在 2020 年，可能不会再有这种对神经网络的认识了。

「黑箱这个观点是虚假的……大脑也是黑箱，而咱们在了解大脑工做原理方面已经得到巨大进展。」

在为「黑箱」理论祛魅的过程当中，Kidd 阅读了 MIT-IBM Watson AI 实验室执行主任 Aude Oliva 的研究。

「咱们当时讨论过这件事。我以前认为系统是黑箱，她批评了我，说固然不是黑箱。你固然能够将它分割开来，查看其工做方式，并运行实验，就像咱们在了解认知过程时所作的实验那样。」

上个月，Kidd 在 NeurIPS 2019 开幕式上发表主旨演讲。她的演讲主要涉及人类大脑如何坚持己见、注意力系统以及贝叶斯统计。

她注意到了内容推荐系统如何操纵人类的想法。追求让用户最大程度参与的系统对人类如何造成想法和观点有着重大影响。

2020 年，她但愿看到更多人意识到技术工具和技术决策对现实生活的影响，拒绝「工具创造者不对工具使用者的行为和后果负责」的观点。

「我听到太多人用『我不是卫道士』这样的说辞自我辩护。我认为必须有更多人意识到这是不诚实的。」

「做为社会一员，尤为是做为研发这些工具的人，咱们须要直接正视随之而来的责任。」

谷歌 AI 负责人 Jeff Dean

谷歌 AI 负责人 Jeff Dean

Jeff Dean 在谷歌工做了二十年，现已领导谷歌 AI 近两年，他是谷歌早期不少搜索和分布式网络算法的设计师，谷歌大脑的早期成员。

Jeff Dean 在 NeurIPS 2019 会议上发表了两场演讲，这两场演讲分别关于使用机器学习设计 ASIC 半导体（ML for Systems）和 AI 社区帮助解决气候变化的方法（Tackling Climate Change with ML）。他认为后者是这个时代最重要的问题之一。在关于气候变化的演讲里，Dean 讨论了 AI 怎样可以成为零碳产业的方法，以及使用 AI 帮助改变人类的行为。

谈到对 2020 年的期待，Dean 表示，他但愿看到多模型学习领域的进展。在这一领域中，多模态学习依赖多媒体数据进行训练，而多任务学习则让网络经过训练一次就能够完成多项任务。

毫无疑问，2019 年最显著的机器学习趋势之一是：基于 Transformer 的天然语言模型的发展和壮大（上文中 Chintala 也认为这是 AI 领域近年来的最大突破之一）。在 2018 年，谷歌开源了基于 Transformer 的模型 BERT。而 2019 年大量顶级性能的模型（如谷歌的 XLNet、微软的 MT-DNN、Facebook 的 RoBERTa）都基于 Transformer 构建。并且，谷歌发言人还告诉 VentureBeat，XLNet 2 将于本月底发布。

Jeff Dean 在谈到 Transformer 进展时表示，「基于 Transformer 实际得到的机器学习模型能够执行比以前更复杂的 NLP 任务，从这个角度看，这个领域的研究硕果累累。」可是他补充道，该领域仍有发展空间。「咱们仍是但愿可以使模型更多地理解语境。如今 BERT 等模型能够很好地处理数百个单词的语境，但若是语境包含 10000 个单词就不行了。这是一个有趣的研究方向。」

Dean 表示他但愿社区更少去强调微小的 SOTA 进展，而是多关注如何建立更稳健的模型。

谷歌 AI 将推动新计划，如 2019 年 11 月开启的内部项目「Everyday Robot」，该项目旨在创造在家庭和工做环境中完成常见任务的机器人。

英伟达机器学习研究负责人 Anima Anandkumar

英伟达机器学习研究负责人 Anima Anandkumar

英伟达的 AI 研究围绕多个领域展开，从针对医疗领域的联邦学习到自动驾驶、超级计算机、显卡不一而足。

2019 年，在英伟达负责机器学习工做的 Anandkumar 的重点之一是强化学习模拟框架。目前这样的框架愈来愈流行，也更加成熟。

2019 年，咱们看到英伟达开发了自动驾驶平台 Drive 和机器人模拟器 Isaac，以及基于模拟生成合成数据的模型和 GAN。

例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出风头。而在上个月，英伟达还发布了 StyleGAN2。

这其中使用的即是 GAN 这一神经网络。这是一项能「混淆现实和虚拟界限」的技术，Anandkumar 认为该技术可以帮助解决 AI 社区面临的难题，如抓握式机器臂和自动驾驶。

Anandkumar 预测，2020 年迭代算法（iterative algorithm）、自监督和自训练方法将有新的进展。所谓自训练，指的是模型使用无监督数据，经过自我训练获得改进。

「我认为迭代算法就是将来，由于若是你只作一个前馈网络，它的稳健性多是个问题。而若是你尝试进行屡次迭代——基于数据类型或准确率要求来调试迭代，那么达到目标的可能性就会大大增长。」

Anandkumar 认为，2020 年 AI 社区将面临多项挑战，好比说，AI 社区须要和领域专家合做为特定行业建立模型。政策制定者、我的和 AI 社区还须要处理特征表示上的问题，并确保模型训练所用数据集可以表明不一样群体。

「我认为人脸识别存在的问题是容易被发现的，可是，在不少领域中，人们尚未意识到数据的使用会涉及隐私问题。」Anandkumar 表示，人脸识别获得的关注最多，这是由于人们很容易理解人脸识别如何损害我的隐私，而 2020 年 AI 社区将面临更多伦理问题。

「咱们须要更加审慎地审查数据收集和使用过程。欧洲正在这样作，但在美国更应该如此。出于正当理由，美国国家运输安全委员会（NTSB）和联邦公共交通管理局（FTA）等组织将更多地执行此类操做。」

Anandkumar』s 认为，2019 年的一大惊喜是文本生成模型的日新月异。

「2019 是语言模型之年，不是吗？如今，咱们第一次获得了更连贯的文本生成结果，且其长度至关于整个段落，这在以前毫不可能，这很是棒。」

2019 年 8 月，英伟达发布了 Megatron 天然语言模型。该模型具有 80 亿参数，被认为是全球最大的 Transformer 模型。Anandkumar 表示，她被人们开始按模型是否具有人格或个性进行分类的方式震惊到了。她期待看到更加适用于特定行业的文本模型。

「咱们仍然没有到达交互式对话生成阶段。在这个阶段中，咱们能够追踪和进行天然对话。我认为 2020 年这一方向会有更多尝试。」

开发控制文本生成的框架比开发图像识别框架难度更大。并且文本生成模型会遇到为神经模型定义事实等方面的挑战。

IBM 研究主管 Dario Gil

IBM 研究主管 Dario Gil

Dario Gil 带领的研究者团队为白宫和全球企业提供积极指导。他认为，2019 年机器学习领域的重要进展包括生成模型和语言模型的进步。

他预测，使用较低精度架构更高效地训练模型方面会有持续进展。开发更高效的 AI 模型是 NeurIPS 的重点，IBM Research 在会上介绍了使用 8-bit 精度模型的深度学习技术。

「整体上，使用现有硬件和 GPU 架构训练深度神经网络的方式仍然是低效的。所以，从根本上从新思考很是重要。咱们已经提高了 AI 的计算效率，咱们还将作得更多。」

Gil 引用研究表示，机器学习训练的需求每三个半月翻一番，比摩尔定律预测的要快得多。

Gil 对 AI 加速推进科学新发现感到很振奋，但他表示，IBM 研究院的研究重点将是神经符号方法。

2020 年，Gil 但愿 AI 从业者和研究者可以关注准确率之外的度量指标，考虑在生产环境中部署模型的价值。AI 领域转向构建受信任的系统，而不是准确率至上，这将是 AI 获得继续采用的关键。

「社区中有些人可能会说『不要担忧，只须要提升准确率。人们会习惯黑箱这件事的。』，或者他们认为人类有时作决策时也不给出解释啊。我认为将社区的智力聚焦于比准确率更好的事情是很是很是重要的。在任务关键型应用中，AI 系统不能是黑箱。」

AI 只有少数机器学习奇才能作，具有数据科学和软件工程技能的更多人只用使用它就好了。Gil 认为这种认知应该摒弃。

「若是咱们让 AI 保持神秘，只有该领域的 PhD 才能研究，这对 AI 的应用没有好处。」

2020 年，Gil 对神经符号 AI 尤为感兴趣。IBM 将寻找神经符号方法为几率编程（让 AI 学习如何编程）和可以分享决策背后缘由的模型等赋能。

「采用神经符号方法，可以将学习和推理结合起来，即符号维度嵌入到学习程序中。经过这种方式，咱们已经证实可以使用所需数据的一部分进行学习。由于你学习了程序，你的最终输出是可解释的，由于有了这些可解释的输出，系统就更加可信。」

公平性、数据完整性和数据集选择问题还是关注的重点。一样，和生物识别技术相关的领域也是如此。人脸识别得到了巨大关注，这只是个开始。随着语音数据的敏感度上升，其余形式的生物识别特征也会日益受到关注。

「和人类身份和生物识别特征有关的工做，以及使用 AI 分析这些信息依然是研究中的核心问题。」

除了 MIT-IBM Watson 实验室的主要项目——神经符号和常识推理之外，Gil 表示 2020 年 IBM 研究院还将探索用于 AI 的量子计算，以及较低精度架构之外的 AI 模拟硬件。

总结

机器学习将继续塑造商业和社会，本文采访的这些研究者和专家发现了以下趋势：

• 神经语言模型的进展是 2019 年的重大事件，Transformer 是其背后的巨大助力。2020 年会出现更多 BERT 变体和基于 Transformer 的模型。
• AI 行业应该寻找准确率之外的模型输出度量指标。
• 2020 年，半监督学习、神经符号等方法和多任务学习、多模态学习等子领域可能出现进展。
• 和生物识别数据（如语音记录）相关的伦理挑战可能继续成为争议焦点。
• 编译器和量化等方法可能在 PyTorch 和 TensorFlow 等机器学习框架中更加流行，以做为优化模型性能的方式。