2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11

image
image

“不是任何一朵云都能撑住这个流量。中国有两朵云,一朵是阿里云,一朵叫其余云。”11月11日晚,阿里巴巴集团CTO张建锋表示,“阿里云不同,10年前咱们从第一行代码写起,构建了中国惟一自研的云操做系统飞天。”数据库

image
阿里巴巴集团CTO、阿里云智能总裁张建锋服务器

2019天猫双11再次刷新世界纪录,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB。今年阿里巴巴核心系统100%上云,撑住了双11的世界级流量洪峰。网络

“阿里巴巴是一架高速飞行中的飞机,咱们成功在此过程当中换上了全新的引擎。”张建锋说,用公共云来承载这样一个万亿规模的核心系统,阿里云是第一个作到的,“不少云厂商本身的业务系统,不在本身的云上,从此阿里所有系统都在阿里云上。”架构

阿里巴巴是全球首家将核心系统100%运行在公共云上的大型互联网公司。分布式

附:张建锋演讲核心观点性能

从去年开始,咱们决定把整个阿里巴巴核心系统所有上云,上云还要加一个定语,是上“阿里云”,并非上任何一朵云都能撑得住这个流量。在中国,咱们常常说中国有两朵云,一朵叫作“阿里云”,还有一朵叫作“其它云”。测试

为何讲阿里云跟其它云不同?由于在中国只有阿里云是彻底从头研发的一朵云,从头是从每一行代码,从十年前开始写,今年是阿里云的第10年,因此咱们的云有一个特别的名字,叫作“飞天操做系统”,当初王坚博士创办阿里云的时候,对咱们这个云下面的调度系统,整个云的基础平台,取名叫作“飞天操做系统”。大数据

咱们的云彻底是中国自研的一朵云,其它不少云从开源软件改造过来的,这是很是大的不同。阿里云

第二个,今年双11,阿里仍然是一家在高速飞行中的飞机,咱们成功的在这个过程当中换上了全新的引擎。之前你们把非核心负载放在云上,如今阿里巴巴最核心的系统放在了云上。如今咱们的云把原来专用的技术变成公共云,你们均可以来享受普惠服务。咱们有最好的系统,大家也能够在上面跟咱们同样使用。云计算

阿里云承载阿里巴巴本身100%的核心系统,这个是咱们全球第一个作到的。不少云厂商本身也有业务系统,可是本身的系统不在本身的云上。咱们之后全部阿里系统所有都在阿里云的飞天操做系统上面。

你们必定会想,这是一个简单的替换仍是技术上很是大的一个进步、很是大的挑战?我简单说一下,咱们有几个方面作得很是好,它不是简单的替换,上云以后性能有了一个很是大的提升。

image

今天你们可能有感受,咱们前十分钟,基本上消费者没有感觉到任何抖动,你们购物很是顺畅。

第1、咱们在核心虚拟机系统上,自研神龙架构,用自研的服务器来作虚拟化。通常的服务器随着压力增加,最终负载能力会慢慢降低,它不是线性的。咱们神龙服务器压力越大,输出也是很是线性的,这是很是难作到的。

第2、咱们自研了云原生的数据库。今年有两个数据库,一个是自研的OceanBase,你们知道咱们在TPC-C测试里面拿下了全球第一。第二是PolarDB,也普遍用在此次双11上,没有任何问题,咱们每秒峰值也是远远超越于原来Oracle这样传统的数据库。

image

第3、咱们的计算与存储作了分离,如今阿里巴巴存储是有一个地方专门存数据。数据都是从远端存取的,因此存储能够很方便的扩容,由于它有一个专门的池。原来作不到。由于原来远端存储,访问网络速度就跟不上。

第4、之因此如今可以作到在远端存储,可以比本地读写磁盘更快,是由于咱们作了RDMA网络,这是全球第一个大规模作RDMA网络的公司。

咱们这四个方面都作了核心突破。

今天,飞天操做系统可以在10万台级别以上的服务器里面作调度,今天双11有很是多的应用,可是它并非说每个时间点,全部应用负载都是同样的。咱们在零点把大部分计算机资源分配给交易等应用,过了一点以后,咱们把数据分配给数据处理系统。数据处理今年创了一个新高,2017年当天处理了300PB的数据,2018年处理了600PB的数据,今年要处理970P左右的数据。

你们可能没有概念,一个P到底有多少数据,我上次跟央视的人交流,央视拍了这么多年电视新闻节目,几十年下来他存了大概80P的数据。双11一天,咱们要处理970P的数据,很是大的量,没有一个先进的系统是撑不住的。

第二个是很是实时,你们看到了,今天在秒杀,在会场所有都是个性化、千人千面的,这里的数据不只是大,并且是要作到很是实时。到目前为止,咱们菜鸟物流系统已经产生了超过10亿笔的物流单,这个数据还在很快的上涨,这些都须要依靠阿里云背后大量的计算能力。

咱们今年的数据,除了批处理以外,还有流处理,就是实时处理全部数据,就像大家看到的交易数据,每分钟、每秒钟都在变,它并非从数据库里面统计出来的,它是每生成一笔订单,系统自动一层层把数据聚集上来。咱们这个系统每秒能处理25亿笔记录,这是流式的系统。

咱们这么多服务器,要把它所有管理起来,除了飞天系统以外,还要管理全部的消息流转,因此咱们本身开发了一个叫作MQ的消息系统,这也是全球目前最大的一个消息系统。

今天,从飞天系统、大数据处理平台到智能化应用,这些技术叠加起来打造了一个新的分布式的基于云的平台,才使得阿里整个经济体全部核心应用都可以跑在上面。

最后,咱们今年发布了自研的芯片含光800。明年双11,阿里大量人工智能应用都会跑在自研芯片上面。

今天从飞天云操做系统到神龙服务器、数据库、交换机、交换机操做系统、RDMA网络,所有是阿里自研的。咱们今天已经积累了很是丰富、很是强的能力,从硬件、数据库、云计算操做系统,到上面的核心应用平台,四位一体,这是此次双11跟往年最大不同的地方。

全部不可想象,终将化做寻常;
咱们相信“相信”,一切都是新的。
双11快乐!

 

阅读原文

本文为云栖社区原创内容,未经容许不得转载。

相关文章
相关标签/搜索