昨天,是1024程序员节。在这个“攻城狮”自带光芒的日子里,阿里妹请来AI大神贾扬清,做为一位开发者,聊一聊他本身的开发者经历,但愿对你有所启发。java
深度学习框架Caffe 做者,TensorFlow 做者之一,曾任 Facebook AI 架构部门总监,负责前沿 AI 平台的开发,Facebook 各产品部门 AI 平台的支持以及前沿机器学习系统研究。加州大学伯克利分校计算机科学博士学位、清华大学硕士学位和学士学位。python
当我以为正在作的事情有意思,
我就以为投时间在里头是对的。程序员
阿里妹:你们对你的我的经历特别感兴趣,这么年轻来到阿里,想了解你是何时开始编程的?大学、研究生、博士分别学了什么?算法
贾扬清:其实我学编程还挺晚的。初三的时候,有一台计算机,我以为挺有意思的,这时候开始接触电脑。大学的时候我想报相关的专业,清华计算机的分数线很是高,我就去了自动化线。我在本科学的是正常的课程,到了研究生阶段才开始学习机器学习相关的内容。当时有一句话是说:机器学习在80%的时间里解决80%的问题,但咱们不知道哪80%的时间解决了哪些80%的问题。当时你们都很沮丧,想着毕业可能就失业了,还不如学系统或是数据库,至少有工做的机会。后来是由于兴趣,就一直坚持下来了,再后来去伯克利读PHD。博士期间已经在作计算机视觉的研究。要说正式开始很是认真的编程的话,Caffe 应该算是我第一个C++的项目。数据库
阿里妹:你认为你是一个智力超群的人仍是学习刻苦的人?编程
贾扬清:我以为我智商没过高,可能仍是由于兴趣,我也是相对比较懒的人,可是干活仍是干的。我基本上7点起来,半夜还在作。当我以为个人事儿特别有意思,那我就以为投时间在里头是对的。网络
这是一个值得投入的方向。架构
阿里妹:Caffe 是在什么场景下开发的这个框架,而且选择开源的,开发这么一个复杂的计算框架中遇到最大的坑是什么?框架
贾扬清:当时咱们是想解决一个现实的问题,AelxBnet 出来以后,一直没有一个通用的让咱们作科研的像 cuda-covnet 这样的一个平台,你们若是去看 cuda-covnet的话,是很难作扩展的。因此,当时我和伯克利的其余研究生是想解决本身的痛点:怎样来训练和设计深度学习的网络?机器学习
开源的缘由是咱们以为咱们有这样的一个问题,那么斯坦福确定也有,清华也有,其余人确定也是有这样的一个痛点。后来,咱们基于共享的考虑因素就把它放出来了,可能也是由于这个缘故,正好踩到了点。
若是要说坑的话,搞开发的时候,最痛苦的事情是怎样来Debug。最开始的时候没有测试,后来咱们跟之前在谷歌和其余的科技公司的朋友谈了一些测试框架。咱们把测试的东西弄起来以后,写完Code跑一遍测试就能够了,这是很大的收获。
阿里妹:AI 对于解决常识或者推理的问题上面,会不会有重大的突破?包括知识图谱跟深度学习学习如何结合?知识图谱+图计算是否是有但愿的方向?
贾扬清:凭心而论,我不是图计算的专家,只在读Paper了解的程度。我以为相似于知识图谱,或者说用一个很老的词叫专家系统,这方面的研究多是人工智能接下去的方向。之前作专家系统的时候,你们发现一个问题:我知道这个逻辑是怎么样的,可是输入一个图,怎么样从图到逻辑。因此,这几年人工智能在感知方面,像图像识别、语音识别、天然语言理解,都是从各类各样的输入到所谓深度学习的阶段,这方面深度学习的问题没有解决。图计算让我想起我在作PHD的时候一个特别热的领域叫几率图模型,我以为这是一个很值得投入的方向。
阿里妹:目前出现了无需大规模训练集的深度学习算法模型,只是在精准度方面有必定的损失,请问这个方向是否有生命力?若是有,能够应用在哪些场景中?
贾扬清:这仍是跟场景有关系,在一些影像识别等场景中的确有这样的问题,当我要找一个特殊癌症的人,我不能满世界找十个得癌症的人。因此说怎样在小数据上作学习是一个问题。我也常常在反思,不必定须要拘泥于数据太少的问题,能够经过一些方法来看能不能找到更多的数据。目前,小数据的收集还处于一个偏科研的方向,不少场景在真正落地的时候,仍是须要数据,可是这个方向仍是很是值得关注的。
阿里妹:你会推荐其余技术上的同窗投入深度学习吗?
贾扬清:我夫人是作 finance 和 accountant 的,有一天她说要学 SQL,在finance 中,不少人须要数据处理。后来,咱们就用一个周末的时间在一起学习。我以为这件事和这个问题相似,你们能够把深度学习当作一个工具。若是你在周末的时候把它当作练练手的项目来作,那还能够,不然就不要搞了。有不少专业的,像作编译器的同窗均可以帮忙搞定。怎么投入学习呢?看一看数据科学家都在作什么事情,若是本身有一堆数据的话,是否是能够用深度学习的模型跑一跑,前提是做为一个用户来用,而不是做为底层的开发者来用。我以为深度学习是一个好东西,看你们怎么来用,到底要不要造这个工具,有兴趣的话固然能够。
人应该是要想着怎样作更好的工具,
而不是跟工具抢活。
阿里妹:AutoML是一个兴起的领域,预期会有愈来愈多的平常工做被自动化,算法工程师应该如何选择发展提高方向?
贾扬清:我认为这是一个机会。当年C语言出来的时候,作汇编的同窗会以为本身没饭吃了。python、java出来后, C语言的人是否是没饭吃了?其实都不是,而是说效率提高了。因此,我以为 AutoML 更多的是让咱们可以放手来考虑更多更上层的东西。因此人应该是要想着怎样作更好的工具,而不是跟工具抢活。
阿里妹:对算法工程师来讲有没有更具体的,能够发力的方向?
贾扬清:AutoML 应该是从2016年开始的, AutoML 最开始作搜索的时候,须要大量的资源,一开始你们开玩笑说AutoML 属于谷歌秀肌肉的文章,一上来就说800个GPU跑了几个月的时间,这事儿不现实的。咱们用一个相对批评的态度来看 AutoML 文章,他基本上就是跑一堆程序,最后跑出一个最好的。可是咱们随机搜了一堆,它的效果能差多少?这个问题在研究领域也在讨论。因此,AutoML 一个比较现实的方向是,怎么样在资源受限的状况下,最快地寻找到一个最好的模型,这是一个传统的像搜索等方面的问题。
阿里妹:在你的感觉中,国内工程师跟硅谷工程师有什么差别点和共同点,对国内的一些工程师有什么样的建议?
贾扬清:我以为我们国内的工程师最好的一点是特别认真,真的是特别认真。国外的工程师,有的时候到周末就找不到人,甚至星期五下午四点钟就下班了。我来阿里以后,加入了骑自行车锻炼的群,虽然尚未机会去,我以为仍是须要平衡一下。硅谷工程师的想法更加天马行空一点,愿意投资到看似没什么用的地方去。这体如今公司的文化上面,硅谷的工程师把不少的工具作的挺好的,这无形当中就提高了咱们的效率,好比说像代码的审查,怎样作测试等。也不是批评我们本身,国外的公司可能在这方面的投资的范围更大,这个反过头来帮助了平常的工做效率,这多是我们应该向硅谷学习的一个地方。
人不是一台机器,
但也正所以,
咱们才比机器更加温暖。
阿里妹:AI 在落地改变人类发展的道路上,面临的主要挑战是什么?
贾扬清:我以为面临的挑战是咱们作 AI 的人不落地,这算是一个自我批评。你们作科研,不少时候像在象牙塔里,须要解决的问题很简单,就像 imagenet,最开始咱们说人工智能爆发的这一点,imagenet 图像解压缩以后250G左右的样子,我拿个硬盘就解决了,即便硬盘不够快,我拿个 SSD 也差很少也解决了。而后,咱们再看看应用到产品里,有的时候是30亿的照片,拿 SSD 就放不下。你再拿一个机器跑一跑试试,半年后说不定也没戏。因此这个时候,算法须要真正的在不一样的产品环境里头摸爬滚打。产品的数据,在必定程度上来讲挺脏的,可是这事得作,作完了才能把算法推下去,有的时候作事不能太干净,这个是最主要的一个挑战。AI 领域发展得很快,科研人员很快地冲到了产品里,对软件工程这方面的敬畏在必定程度上是不够的,包括我本身,这是最大的挑战。
阿里妹:知识爆炸的时代,将来应该如何选择能够长期投入的方向去研究?
贾扬清:这个有点难说,咱们当时搞人工智能的时候,开玩笑说,毕业就是失业。我以为仍是要找一个本身感兴趣的方向,如今你们都在作的,并不必定是最有意思的一个事儿。
有一次,咱们一群博士生在讨论日子要怎么过。咱们的想法是找一个本身喜欢作的事情。若是是我不喜欢作的事情,即便挣钱了,也仍是在干不喜欢干的事。咱们当时的说法是:即便我作得不开心,即便我赚不了钱,但我以为这事儿有意思就行。我有一位同窗是作天文的,虽然不赚钱,可是他作得很开心,这事儿就是我想作的事情。
2002年我刚入学的时候,咱们班主任跟咱们说了这样一句话:“大家已经读大学了,都已经在这儿了,大家要考虑到未来你毕业以后,年薪10万是没有问题的,养小孩是没有问题的。大家要想一想,当温饱解决了以后,你作事儿是否是开心?”我以为这句话对个人触动挺大,我一直都记得这句话。
阿里妹:若是推荐一本书给如今的开发者,你会推荐哪一本书?
贾扬清:做为软件工程师我常常有这样一份沮丧:为何别人老是不讲逻辑?这种沮丧在我走上技术管理岗位之后愈来愈多,直到今天。戴尔卡内基的《人性的弱点》,从畅销书的角度可能都已经被说烂了,不过我以为它对像我这样的技术人员来讲,是一本特别值得读的书:它用逻辑来说述逻辑以外的事情,同时向我展现了一系列为人处世和共创成功的方法论。我2014年的时候第一次读到这本书,感受它解决了我心底里对于和人打交道的恐惧。乍一看,书中讲到的事情彷佛都是一些技巧:如何使你更受欢迎,如何交朋友,如何增长赚钱的能力,等等;但一条主线贯穿始终:人做为一种社会动物,有着喜怒哀乐,有着不一样的个性,可是最终都但愿得到相互的真诚,合做和理解。书中讲到的无数种技巧,归结起来,就是真心理解他人,尊重他人。人不是一台机器,但也正所以,咱们才比机器更加温暖,共勉。
本文来自云栖社区合做伙伴“阿里技术”,如需转载请联系原做者。