先天认知与深度学习

“天赋论学说认为，人类思惟是与生俱来的思想或知识。在这种理念中，最著名的是柏拉图的形式理论，以及后来的笛卡尔的《沉思录》。目前，这一观点正在获取神经科学方面的证据，以证明咱们确实生来就对咱们的世界有先天的认识”。

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael

然而，“天赋论”学说与“纯粹主义”机器学习方法是相冲突的。在这种“纯粹的”机器学习算法中，算法仅从数据中学习，而无需进行显式编程或配备预编程的计算和逻辑模块。

“思想的实际内容是很是深奥、无比复杂的；咱们不该该试图寻找一些简单的方法来思考思想的实际内容，好比用简单的方法来思考空间、物体、多主体或对称性等内容。全部这些都是任意的、内在复杂的外部世界的一部分。它们不是应该被内置的，由于它们的复杂性是无止境的；相反，咱们应该只构建那些可以发现和捕获这种任意复杂性的元方法。”

——The Bitter Lesson
Rich Sutton
March 13, 2019

可是，有一种持截然相反观念的思想流派，建议将符号主义人工智能技术与深度学习相结合。

深度学习的将来

纽约大学教授Gary Marcus等人提倡的一种观点认为，深度学习须要与更古老的、象征主义的人工智能技术相结合，以达到人类的智能水平。可是，Hinton并不这么认为。Hinton将此比做使用电动马达却仅仅用来驱动汽油发动机的喷油器，尽管电力更节能。

与此同时，混合模型可能可以会解决深度学习明显的局限性，特别是关于“深度学习目前缺少一个明确的定义来学习抽象概念的机制，当有成千上万、数百万甚至数十亿的训练实例时，这种方法效果是最好”。

你是否定为咱们最好把GOFAI融入深度学习呢？争论仍在激烈进行。

新的神经学证据

在我看来，其实这些讨论最终都归结为一个问题——咱们人类是经过经验来学习一切，仍是生来就具备某种形式的先天认知?

在《美国国家科学院院刊》（PNAS）上发表的一项研究表示：

“研究发现了一种突触组织原理，它以一种动物间广泛存在的方式将神经元分组，从而独立于个体经验”

——A synaptic organizing principle for cortical neuronal groups
By Rodrigo Perin, Thomas K. Berger, and Henry Markram

这样的集群包含物理世界某些简单工做的内容。

“在动物的新皮层中同时出现的神经元群，或称细胞集合体，本质上是细胞的‘积木’。对许多动物来讲，学习、感知和记忆多是将这些碎片拼凑在一块儿的结果，而不是造成新的细胞组合。”

——Are We Born With Knowledge?
in Uncategorized

分界线

随着愈来愈多的神经学证据支持先天认知的存在，用“先天”的计算模块或原语来装备深度学习多是有意义的。同时，其中的一些原语颇有可能将基于那些从GOFAI借鉴或启发的思想。

另外一方面，咱们很难预测将来的深度学习架构会是什么样子。Yoshua Bengio本人也认可，“在神经网络可以达到人类大脑所拥有的通常智力以前，深度学习的新架构是很须要的。”

在我看来，与诸如神经后端和符号前端（如图2）的清晰并置相反，符号操做极可能会与神经体系结构深度耦合和纠缠在一块儿。“ 与通用计算机程序相比，它们的模型要比咱们当前可区分的层更丰富的基元之上构建，这是咱们将如何进行推理和抽象的方法，也是当前模型的基本弱点 ”

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)

这代表，“纯粹主义”和“混合主义”这两种方法之间的界限很是模糊。所以我认为，在观点上的分歧更多程度上是重点不一样产生的分歧，而不是根本的分歧。

原文连接：https://towardsdatascience.co...

欢迎点击“京东云”了解更多精彩内容

以上信息来源于网络，由“京东云开发者社区”公众号编辑整理，不表明京东云立场。