22岁时,你在干吗?算法
这两天,现任Google AI掌门,传奇通常的Jeff Dean,再次收获膜拜和引起热议。全因他的本科毕业论文首次曝光。网络
这篇论文只有8页。机器学习
却成为1990年的最优等本科论文,被明尼苏达大学图书馆保存至今。学习
同时这篇论文代表,整整28年前,Jeff Dean已经在用C语言,为神经网络编写并行计算的代码。人工智能
拜Jeff Dean教的众人又沸腾了。神经网络
老论文,新热议并行
有位大概很年轻的网友,看了论文以后在HackerNews上发出感慨:难以想象,Jeff Dean在1990年就开始对神经网络感兴趣。方法
一句话,引来众多科普和追忆。总结起来,就是当时神经网络正当红。总结
有人感慨:“神经网络那时候是一件大事,在1980年代后期很是热门,那真是一段美好的时光。”数据
1990年,正值第二次AI寒冬以前,当时,神经网络、Prolog、LISP语言、模糊逻辑都正在流行,ANN尚未被SVM等超越,日本在AI领域还大有赶超美国之势。
后来成为Jeff Dean同事(实习生 ^_^)的神经网络之父Geoffrey Hinton,当时也已经有不少重要研究发表,反向传播也出现了。
Jeff Dean这篇论文提到的两种并行训练方法,就都是基于反向传播的。
网友@silverlake说,“我几乎与Dean同龄,个人本科项目是用遗传算法改进神经网络。当时人工智能很流行,但不久以后冬天来了。”
1990年代早期,对神经网络和机器学习来讲是一段很是有趣的日子。当时物体识别、手写识别等都有出现,全部进展都在快速推动,但很快资金撤走了,项目全都陷入困顿。
“幸亏后来GPU、深度反向传播的出现,数据量开始爆炸以后,神经网络卷土重来。”网友@dekhn说。而对于那些在第二次AI寒冬中坚守至今的人来讲,显然已经获得了应有的回报。