深度学习简述

时间 2021-07-14

深度模型的局限性

随着深度学习的不断进步以及数据处理能力的不断提升，各大研究机构及科技巨头相继对深度学习领域投入了大量的资金和精力，并取得了惊人的成就。然而，我们不能忽略的一个重要问题是，深度学习实际上仍然存在着局限性：

深度学习需要大量的训练数据

度学习的性能，能否提升取决于数据集的大小，因此深度学习通常需要大量的数据作为支撑，如果不能进行大量有效的训练，往往会导致过拟合(过拟合是指深度学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象)现象的产生。

缺乏推理能力

深度学习能够发现事件之间的关联性，建立事件之间的映射关系，但是深度学习不能解释因果关系。简单来说，深度学习学到的是输入与输出特征间的复杂关系，而非因果性的表征。深度学习可以把人类当作整体，并学习到身高与词汇量的相关性，但并不能了解到长大与发展间的关系。也就是说，孩子随着长大会学到更多单词，但这并不代表学习更多单词会让孩子长大。

深度网络对图像的改变过于敏感

在人类看来，对图片进行局部调整可能并会不影响对图的判断。然而，深度网络不仅对标准对抗攻击敏感，而且对环境的变化也会敏感。下图显示了在一张丛林猴子的照片中PS上一把吉他的效果。这导致深度网络将猴子误认为人类，同时将吉他误认为鸟，大概是因为它认为人类比猴子更可能携带吉他，而鸟类比吉他更可能出现在附近的丛林中。

图：添加遮蔽体会导致深度网络失效。左：用摩托车进行遮挡后，猴子被识别为人类。中：用自行车进行遮挡后，猴子被识别为人类，同时丛林背景导致自行车把手被误认为是鸟。右：用吉他进行遮挡后，猴子被识别为人类，而丛林把吉他变成了鸟.

类似地，通过梯度上升，可以稍微修改图像，以便最大化给定类的类预测。通过拍摄一只熊猫，并添加一个“长臂猿”梯度，我们可以得到一个神经网络将这只熊猫分类为长臂猿。这证明了这些模型的脆弱性，以及它们运行的输入到输出映射与我们自己的人类感知之间的深刻差异。

无法判断数据的正确性

深度学习可以在不理解数据的情况下模仿数据中的内容，它不会否定任何数据，不会发现数据中隐藏的偏见，这就可能会造成最终生成结果的不客观。

人工智能目前具有的一个非常真实的风险——人们误解了深度学习模型，并高估了它们的能力。人类思想的一个根本特征是我们的“思想理论”，我们倾向于对我们周围的事物设计意向、信仰和知识。在岩石上画一个笑脸，突然让我们“开心”。应用于深度学习，这意味着，例如，当我们能够成功地训练一个模型以生成描述图片的说明时，我们误认为该模型“理解”了图片的内容以及图片所生成的内容。但是，当训练数据中的图像存在轻微的偏离，使得模型开始生成完全荒谬的说明时，我们又非常惊讶。

案例：这个“男孩”正拿着一个“棒球棒”（正确说明应该是“这个女孩正拿着牙刷”）