阿里巴巴,果真开始拥有“预测将来“的能力了

| 史中算法

顶灯闪烁,笛声响彻。数据库

救护车载着病人,冲向茫茫车海,在时间的赛道上狂奔。网络

高德地图、GPS 卫星导航、路面磁感线圈、1300 个路口摄像头同时开动,为这辆救护车勘探最快路线;架构

GPS 传回实时数据,后台根据辅助数据纠偏,锚定救护车每一刻的精确位置;框架

救护车将要通过的沿途,车辆状况被实时计算。确保路口绿灯提早亮起,在救护车经过以前,恰好全部社会车辆已经行驶一空。机器学习

这不是演习,这是杭州城市大脑天天都在执行的任务。依靠计算,一辆救护车到达医院的速度,平均缩短了 50%。在这座城市,靠鸣笛和闯红灯开道的悲壮完全成为历史。分布式

说人同蝼蚁,其实并不为过。两百多万辆车奔跑在城市里,他们的行踪像风里的落叶同样叵测。但经过对 1300个路口的摄像头的实时计算,城市大脑就能够精确地预测出将来十五分钟、将来半小时那哪一个路段将会拥堵,从而第一时间指挥路口信号灯“变换姿式”。oop

计算在帮人类追赶时间。性能

中哥今天要说的,就是这个精致而坚固的“大数据实时计算引擎"。学习

你可能从未据说过这个引擎,甚至在此刻以前都不知道它的存在,但你极可能早已成为这个引擎服务的一员:

一年一度的双11,无数人涌进天猫,每一个人都能用 0.1 秒搜索到本身理想的商品,在智能推荐中发现适合的宝贝,背后正是依赖这个引擎;

双11庆典现场,大屏上那个跳动的总成交量数字,只是背后全部数据的冰山一角。几十亿种商品的实时库存、价格、优惠数据得以分秒不慢地同步给屏幕前的你,也一样依赖这个引擎。

从某种意义上来讲,只要给这个计算引擎足够的资源,不管面对多么庞大复杂的系统,咱们均可以用几乎忽略不计的时间看到真相——这大大快于人类最聪明的大脑。

这是咱们亲手创造的“先知“

重器难成。为了这个先知通常的“大数据实时计算引擎”,阿里巴巴最核心的技术人,已经耗费了将近五年时间。

让人感慨的是,这个承载了一个个城市的交通,扛起了一条条生产线,担负了一个国家十几亿人购物的强大引擎之因此的诞生在阿里巴巴,最初并非为了知足什么须要,而仅仅是由于它“看上去很美”。

这是一个不为人知的故事。

(1)

1999年,阿里巴巴在杭州成立。

一样在1999年,蒋晓伟正在美国攻读理论物理博士。做为一个初三就立志要探索宇宙秘密的年轻人,到目前为止他的人生堪称完美。

就在一个崭新的物理学家即将出炉的时候,命运开始展示它的波云诡谲。蒋晓伟忽然被本身的导师“忽悠”到了一家很是有但愿的互联网初创公司。理由是:“在30岁以前先财富自由,之后爱怎么学物理就怎么学物理。”

一年以后,互联网泡沫破裂。然而,蒋晓伟却留在了这片战场。2002年,他加入微软,2010年他加入 Facebook。弹指挥间,直到回国加入阿里巴巴以前,他已经从物理学家成功转型成为数据库和计算资源调度系统专家。

他还记得,本身加入阿里的时间是 2014年12月29日。这是一年中能够办理入职的最后一天。

“为何选最后一天?”

“由于看上去比较有美感。”

“。。。”

目测,蒋晓伟是我见过的第一个用物理公式般的美感对待人生的人。甚至,他给本身的花名都想叫作“量子”,后来思考了一下,以为量子不太像我的名,才改成谐音“量仔”。


蒋晓伟

蒋晓伟入职的是阿里巴巴集团搜索团队。你可能会问:纳尼?阿里巴巴还有搜索团队?固然有,并且还极其重要。举个搜索引擎的平常:

当你在淘宝搜索框里输入“杜蕾斯”的时候,搜索引擎就立刻行动,从亿万卖家出售中的宝贝里帮你找到合适的 TT(及其余产品),而后按照推荐顺序排列在搜索结果里。

注意,有趣的硬核要来了:

若是,商家的 TT 价格永远不改,库存永远无限,优惠促销方案永远不变,那么搜索团队只须要作一个最简单的查询系统就好了。

可是,现实中商家会随时调整价格和优惠,某一款激情大颗粒也可能由于太受欢迎,上架十秒就卖到缺货。在淘宝网上,你会发现真实的状态是:每时每刻都有无数卖家的产品参数在改动。

因此,搜索引擎的挑战就是,要根据每时每刻最新的数据库来瞬间算出最适合呈现给你的搜索结果。

相信我,只有用最新鲜的数据算出的结果,才能让屏幕对面的你露出心满意足的表情:

面对这种现实,一个最稳妥的方式就是,搜索引擎用把如今的数据库所有算一遍,给出结果。

可是,这会耗费大量的计算力。毕竟这一秒相对于上一秒来讲,可能发生参数变更的宝贝只有十个,而没有参数变更的宝贝有十万个。

那么,你天然会想:“有没有一种方法,让我只计算改动的部分,再经过特别的数学运算和以前的结果融合,就能达到和计算全量数据同样的效果呢?”

有的,这就叫"流式计算"。

打个最简单的比方:

你负责把椰汁平分给10个妹纸。刚开始你有10瓶椰汁,因而你一人分了一个。后来,你又获得了10瓶椰汁,这时候椰汁的总数变成了 20 瓶,平均每一个妹纸应该获得两个。

但你没有必要把以前分给妹纸的椰汁收回来,从新每人给两个;而是可让每一个妹纸手上拿着以前的那瓶椰汁的基础上,每人再补发一瓶。

经过这个例子,我猜你已经感觉到了“流式计算”的激荡。固然,实际的数据库运算比“分椰汁”复杂得多。

须要说明的是,当时在阿里巴巴内部,并非没有流式计算引擎,各部门都根据本身的需求研发了特定的流式计算引擎,只不过,大多引擎只用来解决各自部门的问题,没有通用性。

不少业务都开发了

各自的流式计算引擎

但蒋晓伟忽然发现,流式计算背后隐藏着一个神奇的事实:

既然只计算增量,就能得知全量的结果;那么就能够永远用计算增量的方式来表达计算全量。

也就是说:增量计算等效于全量计算;流式计算等效于批处理计算,实时计算等效于离线计算!

也就是说,若是按照这个构想作出一套完整功能的“流式计算引擎”,就能够一统江湖,运转在阿里巴巴全部的技术底层。这但是一份不小的产业啊!

蒋晓伟越想越鸡冻。

然鹅,让他激动的最主要缘由居然是:“这个引擎太完美了!”他发现,其实本身身体里的那个“物理学家”一直都在。物理追求的终极就是“大一统理论”——用一套机制解决全部问题。没想到人生峰回路转,在计算机领域也给发现了一个“大一统”的机会。

老实说,蒋晓伟老湿傅这个想法有点危险。危险在哪呢?

首先,若是把当时搜索业务须要的流式计算比做汽车发动机的话,蒋晓伟想要研制的发动机,是豪华到能够用到下一代宇宙飞船上的“核能发动机”。本身团队支持的这摊子业务目前根本不须要这么好的引擎。

其次,研究这个引擎的基本动力竟然是“美感”。出于美感开发一个计算引擎,这种动机自然就有一种理想主义气质。。。能不能研究成,那只有天知道。

再说,面对这么宏大的任务,手下能用来作研发的团队,只有五我的。何况这五个兄弟还有平常的任务,人手极度短缺。

“但马老师不是说了么,梦想仍是要有的,万一实现了呢?"

刚刚加入阿里的蒋晓伟却是决心已定。

(2)

蒋晓伟“能用”的团队,全员都在北京。

这个小分队的老大叫作王峰。王峰是个老阿里了,2006年加入阿里巴巴,在阿里北京的雅虎中国团队作搜索,后来又作过一淘和淘宝搜索。此时此刻,他和北京的几个兄弟主要负责一个开放搜索项目的离线系统。

听到蒋晓伟对于“流式计算引擎”的描述,王峰心里惊呼“卧槽”。对于一个合格技术宅来讲,一个好的技术构想比萌妹子更能让他动心。

蒋晓伟和王峰一合计,事情很简单:脚踩两只船,那基本没戏。要么就趁早死心,放弃新引擎研发;要么就你们就把旧工做彻底交出去,破釜沉舟干票大的。

王峰的决定是,干!

如今的王峰,

笑起来一幅波澜不惊,

当年心里也是慌得一批。

王峰回忆,领导们以为很难以想象。由于交出原有的业务,北京这个小团队至关于“失业”了。而新的研究——流式计算引擎——当时只是个构想,连技术方向也没有,代码更是一行都还没写。对于王峰来讲,这至关于一次破釜沉舟的内部创业,前途未卜,凶险异常。

事实也证实,别人的担忧都是对的。一开始团队努着劲儿写了三个月代码,仍然没办法达到蒋晓伟理想中的通用性,连他本人都有点心虚。

“我刚来阿里巴巴,就忽悠兄弟们把以前的项目都放弃了,要是最后证实个人构想是个坑,那不是害了别人么。。。”他想。

焦急之中,已经到了 2015 年夏天,蒋晓伟忽然在业内著名的大数据峰会 Hadoop Sumit 的论坛上看到有人发表了一个惊悚的评论:感受 Flink 出来以后,Hadoop 就显得不怎么须要了。。。

Hadoop 是当年最火的大数据分布式架构,这个 Flink 是个神马,根本没听过啊。可是当蒋晓伟、王峰和团队研究完技术资料以后忽然发现,这种“用流式计算来等效一切计算”的理念不就和咱们想开发的那套引擎如出一辙吗?

蒋晓伟仰天长啸:

真是天助我也!既然已经有开源的技术,那么咱们只要在此之上继续开发流计算引擎就行了啊!

这里多介绍一句。Flink 是一个流式计算的开源框架,2010 年诞生于德国研究中心和柏林工业大学,2014年被捐赠给 Apache 基金会,并由创始公司 DataArtisans 继续运营。

"Flink 的 Logo是一只眼神里有故事的松鼠。"

简单来讲,2015年的时候,Flink 刚刚“出道”一年,几乎没有人知道,更没有人大规模使用。就像一个刚刚毕业的大学生,看上去颇有潜力,但“稳定性”和“实用性”都缺少事实验证。

就这样,这帮阿里巴巴的技术专家,成为了全球第一批使用 Flink 框架作大数据引擎研发的人,蒋晓伟一瞬间就给本身的引擎起好了名字——“Blink”。这是英文眨眼的意思。”一眨眼,全部东西都计算好了!“

2015年末,搜索部门要向阿里巴巴 CTO 行癫汇报。每人20分钟时间,结果蒋晓伟上去讲 Blink,沉浸在对这个“完美引擎”的想象中,一下就说了40分钟。

做为阿里巴巴全部核心技术的掌门人,行癫素来对新技术很敏感。他听懂了蒋晓伟的技术路线,心里也以为至关靠谱。但这毕竟是搜索团队本身“偷偷”搞的项目,这帮兄弟究竟能够坚持走多远,行癫内心也没底。因而鼓励蒋晓伟说:“那就等大家明年作出来,咱们再看!”

阿里巴巴 CTO 行癫 张建锋

(3)

说到底,Blink 是一个通用引擎。它就像一个万能发动机,能够装载到轿车、卡车、飞机、火箭任何地方。

蒋晓伟手握这台“万能发动机”的1.0版本,处处去找车实验。他盯上的“第一批车”,就是搜索业务中的使用场景。

简单科普一下:

搜索业务的机器学习平台内部代号叫“保时捷”(还真是一辆车。。。),能够根据你浏览商品的时间和动做,实时判断出你可能会对什么感兴趣,从而在下一秒就能给你智能推荐可能喜欢的商品。这是阿里巴巴很是有技术含量的一个应用。

实际上,机器学习平台当时已经“心有所属”,配有一台流式计算引擎——以前王峰带领搜索团队自研的 iStream。iStream 是专门为搜索设计的,虽然目前能够很好地完成任务,但结构简单,不具备特别强的通用性。

机器学习算法团队的一位负责人仁基,技术思想很是超前,很是巧的是,他一样是个执着于“美感”的人。他相信,将来 Flink 极可能会成为下一代机器学习算法重要的底层计算框架,因而在 Blink 系统研发的早期,就把团队里一百多位算法工程师的力量都用来配合蒋晓伟。

“一两百人的团队,被我一我的折腾。”回忆到这里,蒋晓伟露出了羞赧的表情。

说得很美好,结果然拿来 Blink 一用,动不动就躺尸。。。说实话,算法工程师没有义务为 Blink 的技术问题买单。毕竟算法工程师是“生产汽车的”,而 Blink 这个“发动机”质量不稳定,致使人家的汽车备受诟病,能够说至关冤枉了。

因此那几个月一百多位算法工程师的平常就是各类吐槽“疯子”蒋晓伟。

后来蒋晓伟才知道,这些吐槽,全都被仁基扛下来。仁基尽本身一切所能,在保护着这个弱小的 Blink。

终于,2016年5月,第一个基于 Blink 的机器学习小功能“A/B Testing”上线。虽然还存在一些青涩的小毛病,但全部的技术人都看到了,Blink 已经像会呼吸的小兽同样,泛出诱人的引擎光泽。

最激动的,固然是蒋晓伟本人。

他把本身在 Flink 上成功的应用做为一个演讲,投给了当年的 Hadoop Sumit 大会。很是巧,Flink 的创始人 Kostas 和 Stephan 也在同一个大会上有一个演讲。他们两拨人实际是那次 Hadoop 大会上惟二的 Flink 演讲。

Kostas 提早看到了议程,顿感相见恨晚,因而主动联系了蒋晓伟,但愿他能用团队研究的成果影响社区。

“原本以前是想本身玩玩的,咱们连阿里都不敢影响,还敢影响社区?”蒋晓伟说。可是 Kostas 和 Stephan 以为这群阿里人的尝试简直不要太酷,特别支持。

蒋晓伟深受感动,“从那时候开始就以为,咱们不只得把阿里内部的业务作好,还要为 Flink 社区作贡献,把 Flink 社区作好。”

就这样,蒋晓伟和团队就跟组织“接上了头”,成为了 Flink 社区的核心成员。

Flink 创始人 Kostas

这么帅还来搞技术

能够说是至关想不开了

(4)

在搜索团队内部证实了 Blink 能力,又获得了 Flink 社区的承认,蒋晓伟终于有资格正视本身的“野心”了。

他提出要让 Blink 支撑“双11”上的实时机器学习任务,对方赞成了。

也就是说,双11当天,数亿人在淘宝天猫搜索商品,他们的每次查看,点击,都会影响个性化的智能推荐,在下一秒就能看到为本身量身定作的宝贝推荐。而这背后的实时计算,都要由 Blink 来支撑。

然而抬眼一看,夏天已经到了,距离双11只有不到半年了。

整个9、十月份,Blink 和机器学习系统的联调都处在各类花式崩溃之中。Blink 还小,压根就没见过双十一这种“人类狂欢”的阵仗。出现了一个死结:一旦超大规模数据进来,Blink 的性能马上大幅降低。

要知道,在 AI 领域,性能就是功能。性能大幅降低的 Blink 分分钟就把人工智能坑成“人工智障”。

老程序猿都知道,数据规模是对一个系统最大的考验。一个系统承受不住大规模的数据浪潮,有可能证实这个架构就是无解的。若是真是架构缺陷,那么解决方案只有一个:放弃。

带领团队攻坚的王峰回忆,那几天“本身已经崩溃了”。

十一假期,全部团队的人都从北京冲到了杭州,别说休假,连觉都不睡了。六七我的就在工位上吃住,寻找到底是哪一个节点出了问题。即便是面对这样的状况,蒋晓伟、王峰,还有其余同事都彻底相信,Flink 架构是完美的,问题必定是局部的可解的,只是咱们还没找到它。

终于,问题找到了!是不一样层级算子之间的调度模式须要优化。解决这个问题以后,系统能处理的数据量马上跃升。十月中旬,Blink 正式切上线。本觉得劫波渡尽,没成想又是一大堆系统配合的问题接踵而来。

蒋晓伟记得,将近11月,Blink 还有一些问题没搞定。这边基础引擎不搞定,算法团队就没办法在它的基础上调优双11的算法。到最后,算法团队的老大都直接找到蒋晓伟,着急地质问:“大家到底是怎么回事啊?”

如今想一想,他的意思多是想让我别折腾,直接换回去年的旧系统。但个人情商低,当时没听明白。就是一门心思地组织你们调优 Blink。。。

蒋晓伟回忆。

终于赶在11月前,Blink 完成了联调。原则上,从11月1日开始,双11的系统就要封闭代码,谁都不能动了。可是,这是 Blink 第一次承担这么重大的任务,为了万无一失,相关团队又提了不少冗余性的建议。

王峰记得很清楚,一直到11月10日,还有几个小时双11就开始了,代码还最后改了几行,最终封闭。

人事已尽,惟听天命。

11月11日,巨大的数据像海啸同样涌向 Blink,蒋晓伟和王峰都捏了一把汗。然而,这个年轻的引擎应对自如。

次日,Blink 在阿里巴巴一炮而红。

2016年"双11”

交易额定格在1207亿

(5)

你觉得故事结束了么?图样图森破。紧随而来的 2017 年对于蒋晓伟来讲,简直不要更刺激。

意识到大数据引擎这么重要,阿里巴巴集团决定调整组织架构,集全公司之力发展大数据引擎,由原阿里云的首席科学家周靖人组建计算平台事业部,在流式计算方面,把公司发展最好的三个引擎团队合三为一。

周靖人

他也是阿里巴巴达摩院的"禅师"之一

这三个引擎分别是:阿里中间件团队的 JStorm、阿里云的 Galaxy、阿里巴巴搜索团队的 Blink。

得知大牛周靖人负责整合三个团队,正在美国参加 Flink 官方大会 Flink Foward 的蒋晓伟和王峰心里有点波澜。他们知道,三个队伍合并以后,极可能在三条技术路线之中选择一条。

蒋晓伟固然以为本身的开源技术路线技术前景最好。但平心而论,Galaxy 的框架一样很是优秀。更关键的问题在于,Galaxy 一直是周靖人团队的成果。虽然在阿里巴巴不会出现由于亲疏远近而偏袒某个技术路线,但不能否认周靖人必定对于 Galaxy 更为熟悉。

那时的蒋晓伟,和这个即将成为新领导的周靖人彻底不熟悉,他彻底没法预测将会发生什么。

我担忧,不会一回到国内,就没工做了吧。。。。

蒋晓伟回忆。

回国以后,周靖人来找蒋晓伟,蒋晓伟的心已经快跳到嗓子眼了。周靖人说:“我想把整合以后的团队交给你来负责,大家三人一块儿商量将来的技术路线,你以为怎么样?”

这意味着,蒋晓伟忽然拥有了80人的豪华阵容。那一瞬间他在内心默念:“稳了!”只要不是强制采用某个技术路线,他就有信心说服 Galaxy 和 JStorm 的负责人。技术摆在这里,孰优孰劣是能讲得清道理的。

蒋晓伟回忆,三个技术负责人的“谈判”整整维持了一周。

你们都知道,此次技术路线的抉择,将会影响阿里巴巴将来十年甚至更远的技术发展,谁都不敢掉以轻心。

谈到最后,争夺的焦点就集中在 Blink 和 Galaxy 之间。

Flink 的开源生态,最终说服了Galaxy 的支持者。此时的 Flink 已经不像两年那样鲜有人问津,而是已经造成了巨大的社区,中国已经有腾讯、滴滴、美团等公司开始用 Flink 建造本身的流式计算引擎。

在这个社区里,会有无数国内外大牛对 Flink 的代码作贡献。创建在这个开源基座上的架构,也会发展得更快速。

至此,Blink 正式成为了阿里巴巴计算引擎的王牌军。

Flink 社区逐渐声势浩荡

(6)

王牌军可不是白当的。

2017年双十一,Blink 领到了本身的艰巨任务——支持全集团(阿里巴巴、阿里云、菜鸟)的流式计算任务。

王峰告诉我,其实2016年双11 Blink 承担的搜索任务,已是一个重头戏,有过这个经历垫底,再适配不少系统的时候只不过是麻烦一点而已。惟独有同样:Blink 要接管后台全部的交易数据的实时计算任务。

交易数据计算,是淘宝天猫业务的最核心。也是支撑背后支付、物流的核心依据。

不少其余的计算都要基于订单数据的结果。这就像面包店的面粉同样,不管你作什么蛋糕,都须要面粉。若是面粉的供应出问题,那整个面包店就要关门了。因此不管面临多大的订单量,交易数据计算必须稳定、快速、实时。一旦出现错误,损失无可估量。

每一年双十一狂欢晚会上的那块大屏幕上显示的实时成交数字,也是由订单数据汇总而成的。也就是说,若是 Blink 当天挂掉,不只对淘宝天猫的运转影响巨大,还会致使一个略为明显的结果:成交量大屏一直维持“0”,一秒把人丢到全球无死角。

201四、201五、2016 这三年,这个核心任务都是由兄弟引擎 Galaxy 来承担的。

全部人都想到一个稳妥的方案:2017年“双11”让 Blink 和准备退役的 Galaxy 来个双备份,若是 Blink 临时废掉,还能够用 Galaxy 做为备份顶上,至少不会丢人。

然鹅,2016年双11的成交量是1207亿元,按照历年经验推测,2017年的成交量八成是会超过1500亿的(事实证实确实如此,达到了1682亿)。而根据 Galaxy 的技术架构,若是不作大量繁琐的优化,极可能顶不住。

初出茅庐的 Blink,就这样成为 2017 年双11媒体大屏"全球指定惟一必须顶上不干不行合做伙伴"。。。

双11 当天,两条 Blink 链路互为备份。“虽然成功率基本是100%,但万里有一,假设 Blink 自己设计存在未知的缺陷,或者两条备份链路的机器硬件同时坏掉,均可能致使灾难。”蒋晓伟回忆。

在双11到来前一周,王峰带领兄弟们已经把 Blink 引擎调整到无以复加的好状态。蒋晓伟想了想,又派一样是 Facebook 回来的大牛工程师大沙去天竺法喜寺烧了一炷香。。。

2017年11月11日零点。狂欢现场。

时钟敲响零点,而后出现五秒倒计时。按照流程,留给 Blink 的计算时间只有这五秒。也就是说,00:00:05 的时候,不管如何大屏幕都会切到 Blink 给出的双11前五秒交易总额。

这五秒,几乎是蒋晓伟人生当中最漫长的五秒。

一、二、3。。。

第三秒的时候,蒋晓伟面前的监视器跳出了实时成交数据!再两秒以后,实时交易数据被投上大屏,穹顶之下,欢声雷动。

蒋晓伟知道,现场观众并不必定理解大屏运行原理,心里也并无特意把一份掌声送给幕后的流式计算引擎团队。

但那一刻,他热泪盈眶。这几年兄弟们付出的努力值了。

168,269,635,159。每个数字,对蒋晓伟和兄弟们都意味着岁月和付出。

(7)

通过两年双11的考验,已经没人怀疑 Blink 是阿里巴巴最强悍的计算引擎之一。

因此,不只阿里巴巴集团全部用到流式计算的场景都会选用 Blink,Blink 还开始对外提供服务。虽然在蒋晓伟看来,各个场景的计算均可以用 Blink 来解决,但目前被应用最多的场景有以下几个:

1实时统计分析。

在电商行业,尤为是促销的场景中,巨大的网络流量涌来,形势变幻莫测。每一秒的库存统计、订单报表,都能揭示出用户的行为规律。对这些数据进行实时分析,就能随时调整促销策略。

2在线机器学习。

用户的行为会展示出他的性格和偏好,用机器学习分析一我的浏览商品的姿式,就能为他精准推荐可能感兴趣的商品。

可是,可能一个用户只浏览一分钟,若是在这个时间段内没有可以吸引他的商品,它就会退出。因此必须在一秒钟以内,对他刚才的动做进行实时学习,才能保证他第一时间看到感兴趣的宝贝。

3实时金融风控。

在金融领域,技术就是金钱。每成功阻断一次欺诈交易,就等于挽回了真金白银。经过对一个帐户实时行为的分析,就能够知道如今它有没有进行危险交易,从而在第一时间阻断。

四、IoT 边缘计算。

在工厂中,每台生产线都会随时产生数据,若是能够实时对这些数据进行分析,就能够减小生产线的损坏概率,提升产品的良品率。

根据参数实时调整生产线

如此,才有了开头一幕所说:阿里云承建的城市大脑,能够利用 Blink 来预测道路拥堵,为救护车开拓生命道路。

根据阿里云首席科学家闵万里博士的介绍:

2018年,城市大脑第一次出国,被部署在马来西亚吉隆坡,把救护车到达现场的时间缩短了 48.9%。

借助工业大脑,流式计算实时判断生产线的健康情况,帮助世界第一大光伏企业协鑫光伏提升了良品率1%,每一年能够节省上亿元的无谓浪费。

2018年12月20日,阿里巴巴将 Flink 的旗舰会议 Flink Foward 第一次引入中国,现场座无虚席。蒋晓伟、王峰和流式计算团队的每个人,在过去的三年都亲眼见证了 Flink 从踽踽独行到集结成军。

Flink Forward 2018 北京

为了感谢社区的帮助,在此次会议上周靖人宣布,在将来会把基于 Flink 修改的 Blink 流式计算引擎开源。从2019年1月开始,全部人均可以查阅这个支持了双十一、支持了城市大脑、支持了工业IoT等无数顶级计算的引擎代码。

也就是在这一年,王峰正式接替蒋晓伟,成为流式计算的新掌门。而蒋晓伟则朝着他的“完好梦想”更进一步,带着一帮兄弟在此基础上研究“带有流式计算引擎的数据存储系统”——交互式查询系统,让这个引擎可以解决更多通用的计算问题。

带有流式计算引擎的数据存储系统,听起来有些不知所云。其实,这个世界上最经典的这类系统,其实就是咱们的大脑。

咱们一辈子中会接受各类信息,这些信息共同构成大脑的资料库,帮助咱们预测将来。每当有新的信息进来,咱们都会根据这一点点信息增量微调咱们对于将来的预测。

这种调整,毫无疑问是实时的。咱们的祖先不当心触摸野火,从那一刻开始就会告诉本身和家人当心火焰。

咱们依靠对世界的万亿次反馈,发现了万有引力,发现了相对论,发现了量子力学。

正是千万人实时更新的预测能力,构成了咱们的文明,也书写了咱们的历史。

之前,全部关于将来的预测都在咱们的脑海里,现在,咱们终于有机会在躯体以外,利用人类的武器——计算力——建造起一个硕大的预测引擎。

角落里,这些技术英雄笑起来安静而羞涩。但正因他们存在,人类面对将来,不再是手无寸铁。

更多资讯请访问 Apache Flink 中文社区网站

相关文章
相关标签/搜索