大话深度学习之人物篇

source: http://www.hdb.com/article/4hju-PCHomeDetail.html

深度学习江湖目前有四座山头，分别是：Geoff Hinton、Yann Lecun、Yoshua Bengio、Andrew Ng。这里面Geoff Hinton去年加入Google搞Google Brain, Yann Lecun去年加入Facebook任人工智能研究室主任，最新的消息Andrew Ng加盟某厂搞Baidu Brain，只有Yoshua Bengio还在蒙特利尔大学潜心学术界。这里面Yann Lecun是Hinton的博士后学生，Yann Lecun和Yoshua Bengio是AT&T的同事。Yoshua Bengio是Michael Jordon的博士后， Andrew Ng也是师从Michael Jodon而且是其的"得意门生"，此神目前是UC Berkey的统计学和ML的双料教授，一手开创了统计机器学习这个领域，门下高人倍出，固然最有知名度的是Ng。听说Michael Jordon当年申请Hinton的博士后被拒了，愤然出走UC Berkey，本身开宗立派，终成一代宗师。Andrew Ng在Hinton去Google以前是"Google Brain之父"，Hinton去了以后就离开Google回了stanford，而后如今再度出山，也许有其师M.J的情节在里面也许所谓一山难容二虎吧

若是以门派论：
Jeff Hinton是深度学习的"开山祖师爷"，也是武林中的"少林派"的主持，德高望重，96年创立人工神经网络的BP算法，惊天动地，当年被给予厚望惋惜ANN没有发展起来后来反被搞SVM的人压制了将近20年，听说2006之前Hinton系的人被压制到每一年的NIPS ICML这样会议都发不了，由于必定会被SVM的人毙掉。终于，蛰伏良久，厚积薄发，王者归来，2006年开始推出深度神经网络，终于引领了这波浪潮。Google去年收购了2个深度学习的公司，一个是DNNResearch，只有三个员工分别是Hinton和他的两个博士生。另一个是英国的DeepMind，创始人也是Hinton的博士生，传言花了5亿刀。

Yann Lecun能够算做DL江湖的"武当派"掌门人，由于武当派的开山鼻祖"觉远大师"也是师出少林。Yann Lecun一手创立卷积神经网络CNN，这也是目前DL在图像上边发力的必备武器。去年NIPS 2013会议上，扎克伯格忽然现身，宣布Yann Lecun被他招揽到了facebook了。Yann Lecun仍是纽约大学Data science center创始人和主任。

Yoshua Bengio, 从2006年开始，主要是Hinton、Yoshua、Yann Lecun开始发起的深度学习的浪潮，不少这个领域的牛paper都是出自Yoshua的手(并且是本身写)。当前学习DL有力的工具PyLearn2和Theano都是出自他们实验室。对其了解很少，只是以为他的paper特别的厚并且自成体系。最近看到对他的采访，让他评价一下"为何最近这些深度学习的大牛都投身工业界了?"，他的回答是："我喜欢学术界，由于我能够选择研究我喜欢的课题，我能够选择设立一个长期的目标来为之努力，我能够为全人类的福祉来奋斗而不是某一个特定公司的利益，并且我能够很是自由的公开讨论个人研究成果和进展"。不过，Yoshua会不会被某公司收揽呢，一切很差说。凡事亲力亲为，门下弟子很少，淡泊名利，从这个角度看，Yoshua Bengio是应该算做"逍遥派"的"无崖子"吧。

Andrew Ng，香港出身，中文名"吴恩达", 近几年机器学习界煊赫一时的后起之秀，年龄只有38，并且是最近才结婚(在twitter上看到他show的婚纱照了)，stanford计算机副教授 & AI Lab主任。成果无数，产出惊人，好比和David Blei 以及他们的老师Michael Jordon建立的LDA就耳熟能详,此外还有Reinforcement Learning、Sparse coding、Bayesian network、NLP、Deep learning方面奇功无数(水平有限，没法归纳大牛的领域)，在其主页上粗粗浏览了一下有160多篇论文，基本上统治了ICML NIPS AAAI等全部相关领域国际顶级会议和顶级期刊。前两年和D.Koller(Graphic model & Bayesian很厉害的一名女教授)合做推出了Coursera，风靡全球，让人足不出户就能聆听大师讲课。感受Ng在学术界和工业界都很能混的开，"Google Brain之父"完了以后就是"Baidu Brain之父"，既能"出世"又能"入世"，进退自如，恢恢乎游刃有余，以stanford为据点培养了一大批博士生(好比Quoc Le如今是Google Brain的核心人员 Richard socher去年在NLP的文章也很精彩，我跟着他打了一点酱油)，剑法飘逸，涉猎深广，最重要的是年轻，这点来看能够算做武林届的"令狐冲"。

那么谁是"风清扬"呢("风清扬"和"逍遥派"的关系待考证)，必然是其师Michael Jordon了，机器学习届的"泰山北斗"，就像在”风清扬“在华山一手开创剑宗一脉。Michael Jordon也是一手开创统计ML, 涵盖的领域包括： Bayesian nonparametric analysis, probabilistic graphical models, spectral methods, kernel machines and signal processing, statistical genetics, computational biology, information retrieval and natural language processing(摘自其主页介绍http://www.eecs.berkeley.edu/Faculty/Homepages/jordan.html)，正好9个领域，简直真真是"独孤九剑"了，让人叹为观止。

Jeff Dean, 人称互联网战神，Google Senior Fellow(Google工程师最高级别，这个级别就是为Jeff Dean设立的)，缔造了谷歌的不少系统和框架，极大的影响了当今互联网、大数据的技术深度和演进。其贡献包括：MapReduce BigTable的发明人(谷歌老三架马车是GFS Mapreduce Bigtable)那2篇牛paper做者，Google Adsense & Adwords第一个版本做者，Five generation谷歌网页检索系统做者、Protocal buffer做者，分布式操做系统创始人，Google News做者，Spanner做者，DistBelief做者(这个和深度学习相关), Google Translate创始人。大规模深度学习网络的第一个系统算是DistBelief, 固然对外的项目名称叫作"Google Brain". DistBelief当时用了1000台机器、16000个核作了一个深度神经网络(paper: large scale ditributed deep networks)，算是在工业界率先开启超大规模深度学习网络的先河。Jeff Dean在国外内工程师心目中简直是神通常的存在，广为流传的Jeff Dean的搞笑段子就是一个最好的说明。早期focus在编译器、并行处理、大数据架构等系统方面，近期看到的一些产出都是在机器学习+大规模系统的方面，左手机器学习，右手无出其右的架构和系统，因此从宗师级的来看，Jeff Dean应该算全真教的"王重阳"。

固然深度学习界还有一些响当当的人物，好比Li Deng、Dong Yu、Kai Yu，前两位是在微软雷蒙德研究院，和Hinton深度合做，将DL在语音识别、语音合成上的应用提上了一个新台阶，在DL的发扬光大起了相当重要的做用。Kai Yu是国人中作DL的先驱(和如上几位交集甚深，属于一个圈内的人物)，某厂IDL的副厂长，一手带动深度学习在某厂的不少领域获得应用，好比：图像检索和理解、语音识别、Learning to Rank和广告里面的CTR prediction，也是国内DL的布道者，将某厂的DL的知名度和影响面成功扩大到全球领域，带动了国内DL的浪潮，可谓风头一时无两。

 再说说如今深度神经网络的规模吧，最先Google的Distblief用了1000台机器、16000核处理的网络规模大概是10亿个神经元，然后Ng回了stanford以后，用了16台CPU Server，每一个server插4个GPU，总共是64个GPU(可是用了一个超牛逼的交换机叫作InfiniBand)，可训练的网络规模是112亿的神经元。确实，从效率、通讯、扩展性上来说，GPU甚至是CPU+GPU是趋势，这也是Ng很快搞出一个网络规模更大、机器资源更省深度网络以后能够立刻宣称"堆机器有什么用，效率才是王道"的缘由(这句话是个人杜撰，可是"Deep Learning with COTS HPC Systems"确实最后讲明了这个工做的意义在于没那么多的机器照样能够作大规模的深度网络)。最近看到的消息，某厂的网络规模已经达到了200亿的节点规模(这可能也是对Ng有吸引力的地方)，他们招揽了异构的专家搞异构计算，但总之GPU仍是王道。下一步呢，我本身以为目标将会是1000亿的神经元的规模，由于深度学习的一路进展是在深度更深的背景是进行的，并且到了超大规模以后有可能可以发现一些更加不同的东西，真能进入一片"不同的天空"也未可知。接下来就看google、facebook仍是baidu谁先到这个地步了，由于规模越大，对并行架构、优化算法(至少目前的aSgd基本不能work)提出史无前例的挑战。

PS: 这篇文章纯属八卦，一些人物细节没有详细考证，权当看个乐:)