深度学习将来的可能发展方向

做者：ThoughtWorks中国
连接：https://www.zhihu.com/question/47602063/answer/197576134
来源：知乎
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。
 

方向1：多功能神经网络

尽管深度学习已经让神经网络具有了很大的灵活性，然而深度学习目前还只能作到一个神经网络解决一个问题。好比训练一个神经网络要么只能识别图片，要么只能识别语音，不能同时识别。好比，咱们能够给一个神经网络看一张图片，神经网络能够识别到图片中是猫仍是狗；咱们也能够给另外一个神经网络听一段声音，这个神经网络能够识别出是声音中是猫仍是狗的叫声；可是，如今尚未一个神经网络，既能经过视觉识别物体，还能经过听觉识别物体。尽管借助多任务学习（Multi-task learning）技术，神经网络能够在识别图片类别的同时，识别轮廓、姿态、阴影、文字等等相关的内容，相比咱们人类多才多艺的大脑，如今的深度神经网络能够说是很是低能。

目前若是须要一个应用支持不一样的能力，必须组合使用多个神经网络，这不只对于计算资源是巨大的消耗，不一样神经网络之间也难以造成有效的互动，好比图片中的狗、声音中的狗和一段文字中出现的狗，在各自的神经网络中都有不一样的表示方式。而对于人类来讲，这些其实都是同一个概念。

如何让神经网络可以同时实现多个目标，目前科学家们也都尚未答案，不过从人类大脑获得的启示是，经过某种方式，将负责不一样功能的神经网络链接起来，组成更大的神经网络，也许能够解决这个问题。Google在ICLR 2017上的一篇论文，经过一个系数门矩阵将多个子网络链接起来，是在这个方向上的一个有趣尝试。

方向2：终极算法

Pedro Domingos教授在《The Master Algorithm》一书中回顾了机器学习的5大流派：符号主义、链接主义、进化主义、贝叶斯主义、分析主义。这5类机器学习算法并无绝对的优劣，不一样的算法适用于不一样的场景和问题。好比以神经网络为主的链接主义算法，对于视觉、听觉这类感知问题，具备更好的效果，可是却不擅长逻辑推理。而逻辑推理恰好是符号主义算法所擅长的。书中提出了一种终极算法，可以结合这五种主流机器学习，能够适用于更大范围的问题域。

深度学习正是链接主义发展而来，不过深度学习提供了可扩展性很是强的框架，以深度学习为基础，颇有但愿将其余几类机器学习算法融入进来。OpenAI在进行深度强化学习的实验过程当中发现，使用进化主义的遗传算法替代经典的反向传播（BP）算法，模型能够更快的收敛，性能也更好；Google基于TensorFlow框架开发的几率编程工具库Edward，证实了几率图和神经网络能够无缝的结合在一块儿。

从目前的趋势看来，终极算法很是有但愿。不过，事情不会老是这么顺利。当年物理学家们但愿寻找大统一理论来结合天然界四种基本力，电磁力、强核力、弱核力很快就结合到一个模型中，然而最后引力却怎么都找不到结合的办法。当咱们找到终极算法的时候，通用人工智能（Artificial General Intelligence）就离咱们不远了。

方向3：更少的人工干预

深度学习让机器学习再也不依赖于科学家寻找特征，但调试深度神经网络依然须要不少人工的工做，其中最主要的就是调参。这里所说的调参，不是调节神经网络的每一个神经元的参数，而是指调试超参数。超参数是用来控制神经网络的描述性参数，好比，神经网络的层数、每一层的神经元个数、学习率（Learning Rate）的大小、训练时间的长短等等。这些参数的微小差别，会给最终模型带来巨大的性能差别，而这部分工做大多须要靠经验完成，很难总结出有效的最佳实践。

然而这一情况在将来将会有所改善。既然神经网络能够用于学习参数，就应该能够学习超参数。DeepMind提出的Learning to Learn算法，使用神经网络来学习和调整学习率，可让神经网络更快的收敛到理想的精度。正所谓，授人以鱼不如授人以渔。