【逐云】阿里巴巴通用计算平台负责人关涛:让计算平台成为阿里的“水电煤”

《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的表明专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,固然咱们也欢迎你往前走一步,成为咱们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一块儿“煮酒论英雄”。安全

本期人物:阿里巴巴通用计算平台负责人关涛网络

 

如下为关涛讲述:架构

 

学生时代:一路保送,但可能不是你想象中的学霸分布式

 

可能我不是那种你们想象中的学霸。爱读书,但也很爱玩。我以为兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学由于数学竞赛保送了南开大学,读的计算机专业。选择计算机,是由于从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带个人导师在网络方面研究成果很领先,也是经过他在计算机的领域里走得更深刻。ide

 

除了游戏,也很爱运动。工做后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾作过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,以前也一直坚持在每一年的最后一天自驾去不一样的滑雪地滑雪。布局

   

初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战性能

 

研究生毕业后,拿到了微软的offer,一作就是6年。在微软的第一个项目,是作基础架构,主要负责分布式系统。在当时的体量仍是很大,团队有几千台机器能够布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上作的基础。学习

 

第二个项目,是作搜索后台,那时整个业界搜索技术也刚起步,能够理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。大数据

 

作完了这两个偏存储层面的后台后,开始往上作,作大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来作这个项目到经历各类系统的升级更新,作到后面基本微软一半以上的团队都在用这个系统。优化

 

作到这里,在微软国内已经算是比较资深的员工,恰好在作组织架构调整,但愿能够接受更大的挑战,便决定去到美国那边的对口组,在那边工做了两年的时间。这期间继续深刻作交互式查询、优化推进等,由于在微软比较早就开始带团队,在美国那边也是带团队,不过此次是多国的战队。也是在那时积累了不少团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。

 

阿里人:从微软到阿里,技术信念的回归

 

在微软工做将近10年,中国美国都工做过,带一个团队作交互式大数据计算这个领域,当时是一个比较“驾轻就熟”的状态。微软也是大型工做,内部能够换到各类不一样的工做和岗位,以前大约每两年也会make some change。过去的十年,以BAT为表明的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特色驱动了BAT。因此当时有了阿里的机会,也很好奇但愿更深刻的了解,也算是make a bigger change。

 

从工做性质上,仍是很match,都是大数据引擎(规模上有较大差别),并且阿里在国际化方面有投资,也须要跨国经验,以前的技术,工程和管理经验都能复用。

 

另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深入的印象,到如今我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,作通用计算平台,也算是为国产软件而奋斗了。

 

在微软作了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,不少地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和本身也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。    

 

以前也一直带北京和美国的团队。此次在阿里,我管这个叫“两岸三地工做”(太平洋两岸,北京,杭州,西雅图),这个工做状态,确实工做更忙一些,不少会议须要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是咱们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,但愿经过海外人才的引进,进一步提高咱们竞争力。这方面须要加大投资,付出一些时间和沟通成本也是值得的。

 

随着三边团队融合和成熟,状况已经不错了。研发全球化一些优点已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合做伙伴会议,能够就近参加(例如与Intel美国团队的合做,由西雅图同窗完成)。

 

责任:在阿里,开启的是一场大的硬仗

 

在阿里我有一种感受,就是事比人多,可作的事情很是多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你能够想象一座航母,自己系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但若是转型的方向正确,战斗力里必定会很是地强。计算平台之于阿里,即是相似这样一个存在。

 

在阿里负责的是带整个计算平台的团队,在以前,阿里是各个业务部门会搭本身的数据平台,如今是统一收到一个统一的大后台中,计算平台即是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每个月的月活有一万多人,也就是每4个阿里员工中就会有1我的在用这个系统,天天的获阅量有300万左右。阿里这么多业务线的数据汇总在一块儿,数据也就具备了一加一大于二的特性,全部这些数据综合在一块儿也是阿里巴巴最大的数据价值之一。若是这个平台一旦不工做,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是很是不可思议的。

 

来到阿里,最开始就在和其余架构师一块儿,对这个计算平台进行一次全面的革新,将性能提高了一倍。一倍可能不少人会没有明确的概念,举例来讲,性能提高5%能够省去的预算时一个亿,那么一倍的话实际上是节省了20亿的预算。

 

计算平台最典型的应用,即是每一年的双十一。双十一期间咱们团队会值48小时的班,第一天支撑实时流量和交互式查询,次日须要支撑份量的信息,中间不能有间断。每一年双十一结束的时候,计算平台也会迎来整年最大的洪峰期,数据量会暴涨三倍到五倍的样子,很是考验整个数据平台的能力,因此真的是一场很大的硬仗。

 

对将来的展望:让计算平台成为阿里的“水电煤”

 

针对计算平台的将来,是但愿它能够普及成为“水电煤”通常的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,可以打造业界影响力的一个状态。二是生态线上有很是多的地方值得咱们学习,也值得去整合,但愿能够作到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,可以保有既有资源系统最核心的能力,好比更安全、更高效、功能更强的优点,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前咱们作的方向是对的。但愿本身能够带领阿里计算平台这座航母,开得更远。

 

就我我的而言,也是但愿能够之内部和外部业务为导向,把计算平台这座航母自己的战斗力提高上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台。

相关文章
相关标签/搜索