from :http://www.chinacloud.cn/show.aspx?id=22417&cid=18web
天猫淘宝的双11活动已通过去了十多天,今年的双11有232个国家参与进来成为名副其实的全球疯狂购物节。相信全部的数字你们都已经很清楚了,11日全天的交易额达到912.17亿元,其中在移动端交易额占比68%今年每秒的交易峰值达到14万笔,蚂蚁金服旗下的支付宝交易峰值达到8.59万笔/秒,这一系列的数字,考验的是阿里巴巴背后强大的IT支持能力。最近,阿里双11的总导演何导(何云飞)率主要研发工做人员,接受了CSDN记者的采访,解读了今年双11背后都采用了哪些关键技术。数据库
何导主要从今年双11的架构解读了今年的混和云模式后端
他介绍说,双11已经作了7年,首先要考虑的是如何应对这个交易峰值。从成本的角度考虑,采购很是多的IT资源放在那里为了那最多半小时确定是不经济的,因此就须要利用云的模式,利用公有云,快速把资源调度过来,迅速投入应对用户的海量访问。等峰值事后,再快速把资源释放。这是云的好处,因此最后选择了公有云+混合云的组合模式,来支撑今年双十一的峰值。安全
也许有不少小伙伴会以为,阿里不是有公有云么,直接把阿里巴巴的系统装到公有云上这个架构不就解决了吗?事情没有这么简单。阿里巴巴通过了15年的系统建设,系统很是很是复杂,里面不知有多少个系统在流转,一个订单要流过多少系统、数据库交互,这个复杂程度通常人是想象不到的。因此就算是用公有云支撑系统,最快的方式也是用混合云联系起来。因此阿里把核心交易系统、支付系统干干净净地放到公有云上,还有一些复杂的业务系统在里面互相调用。服务器
何导认为,除了用混合云来应对双11这种极端的峰值状况外,常规的企业也能够运用混合云,由于它是一个快速、安全、弹性、低成本的利用公有云的方式。每一个企业的系统全面上云的话,你们须要考虑一下。由于这个企业里面系统订单、商品、交易、财务、支付,这些系统要能所有搬上去是很是复杂。固然了有些系统很是简单,好比说网站没有交易的是速度很快,一个服务器、一个数据库就搞定了。网络
若是客户想用公有云,何导认为这里存在一个兼容性的问题。用户想要用公有云去支撑业务,那么内部的系统跟公有云的系统必定是兼容的,整个基础设施应该是平滑过渡。阿里全部云上的产品是能让电商核心系统运行起来,包括从操做系统、中间件、数据库须要彻底兼容。这些产品在aliyun.COM上能够看到云服务器、负载均衡、RDS云数据库,这是企业里面最经常使用的三大件。在不久的未来,用户还会看到阿里自研的大数据产品ODPS,还有OceanBase数据库产品,将来都会在云上开放。架构
通过这次双11的展示,阿里混合云的好处,同时也是云计算的本质,那就是对于用户来讲是随时可得,尽量去突破距离、地域、规则的限制,来争取人们最珍贵的东西——时间和资源。云计算技术就是在不断优化资源调度,不断让用户的时间节省下来。云平台的本质是调度系统链接网络去作好,让这样的技术是能够流转起来的。负载均衡
颜然分享了OceanBase数据库的使用状况分布式
第二个分享技术经验的就是OceanBase数据库的研发人员,蚂蚁金服的高级技术专家韩富晟(颜然)。他首先简单介绍OceanBase究竟是什么。性能
OceanBase究竟是什么?
一、彻底自主研发的关系数据库。它是一个关系数据库系统。而后是在阿里内部从第一行代码开始本身写的,彻底本身研发的一个关系数据库系统。
二、金融级别的可靠性。由于数据库支撑的是支付宝、余额宝里的真实交易,是不能出错的,因此对于可靠性的要求是很是高的。
三、有更低的成本。由于咱们采用的技术能把硬件自己的效率发挥得更好,因此咱们能够得到更低的成本。
蚂蚁金服的高级技术专家韩富晟(颜然)介绍OceanBase
咱们如今之因此还能去作一个OceanBase,更重要的一点是现有常见的一些几大厂商的数据库,诞生的时间大概是在40年前左右。那个时候你们面临的硬件环境是单纯的主机,而后在主机上编写相应的软件来作数据的存储。如今现在云计算的发展使得咱们开发软件的时候面临的不是单台机器,而是集群的环境,面对着不少台机器,你们共同去知足业务的需求。面临的硬件背景不同了,因此才有更新的架构来实现很高的可靠性、更高的性能、更低的成本。
OceanBase是2010年5月份开始立项的,到今天为止有五年多的时间,从去年“双十一”开始使用了,有10%的交易流量是留在OceanBase数据库系统上,到今年百分之百已经所有切过来了。
今年的“双十一”百分之百流量迁过来以后,其实代表得到了全部人的承认,你们愿意把关于钱、关于金融相关的事情放在了OceanBase数据库上,这就是今天能站在这里去跟你们介绍系统的缘由。
今年的“双十一”,支付宝整个核心链路是运行在OceanBase上面。这两个数字你们在外面都见过,一个是14万每秒的订单建立,还有8.59万笔每秒支付。建立是当用户在天猫、淘宝页面上点机当即购买或在购物车结算的时候会建立订单,订单会有至关复杂的流程把数据显示在数据库里面,,而后跳到支付宝页面去付钱。由于你们都在0点准备抢东西,因此那个时候峰值最高的。支付日后稍微错一点,有一点错的效应,因此是8.59万笔,比14万低一点,所有会落在OceanBase里面。以交易系统为例,在“双十一”一天写进数据库的数据量有10TB。
这么多年来,已经陆陆续续有特别多的系统开始用OceanBase系统。像国际交易是阿里供应商系统也在用了。收藏夹是你们在收藏商品的时候,淘足迹是有一个页面看你全部浏览的产品,这些交易已经慢慢开始使用OceanBase了。今年“双十一”除了核心链路关注比较高的以外,这些业务也是使用OceanBase做为后台的数据库了。
毕玄:异地多活技术 三年心血终于成功
另一个阿里本身的技术就是异地多活技术,阿里巴巴技术保障部研究员林昊(毕玄)经历了三年的研发,今年终于把这个技术彻底应用到双11中,而此次,也是把整个异地多活技术研发经历讲得清清楚楚。
林昊说:“对于阿里的交易以及支付来说,作异地多活最重要的目的除了灾备以外,更重要的点是追求持续可用,整个支付交易的体量对于用户来说是持续可用。”
阿里之因此作异地多活主要是以为两地三中心并非最好的模式,它存在弊端。
两地三中心对于阿里来说是有问题的,最重要的问题是:
一、这个模式不必定Work。好比说某些地方用了两地三中心以后,当一地的数据中心出问题的时候,是不敢流量切往异地的备份数据中心,缘由是异地的备份数据中心是冷的,平时是没有用户流量进去的。若是要把流量切到那边起来以后,其实没有人有多强的信心可以保障起用之后是能够正常服务的,毕竟平时都是冷的。由于是冷的,就意味着整个起用的过程须要时间,不可能提及用就起用,必定会有时间周期。这是两地三中心的最大问题,看起来模式是很安全的,也是可用的,可是事实上不必定是这样。
二、异地备份中心由于不对外提供服务,因此整个资源会处于浪费状态,成本比较高企。
三、对于阿里的规模来说有一个很大的问题,在两地三中心中,数据必定是单点去写。其实数据只在一个地方去写,这个时候若是整个压力比较高,好比像“双十一”的场景中压力很是高的状况下,就意味着在两地三中心的状况下全部的数据仍是写上的单个点,对于存储成本压力会不断增长。好比去年8万、今年14万意味着每一年压力都在增长,这时候数据库整个伸缩和外层业务的伸缩都面临着更大挑战。
对于咱们来说这三个问题是比较明显的。
阿里在整个高可用上也经历过了一段时间,主要是作了三个步骤。第一个是作了同城的双活,第二个作了异地只读及冷备,第三个是作了异地多活,经历了三代体系的演进才走到了今天。
阿里决定开始作异地多活,要的目标是:
一、须要多个跨地域的数据中心。异地多活是跨地域的,并且距离必定要作到1000千米以上的范围,其实在中国范围内全国城市均可以去布了。
二、每一个数据中心都要承担用户的读写流量。若是只是备或只读业务来说,做用不是很大。
三、多点写。由于每一个数据中心去承担用户读写流量的话,若是读或写集中到全国一个点的话,整个延迟是没有办法承受的。
四、任意一个数据中心出问题的时候,其余中心均可以分钟级去接管用户的流量。
这个是阿里在作异地多活项目的时候,但愿在这四点上都可以作到,而后也只有这样的状况下才认为是一个异地多活的业务。
异地多活对于咱们来说,其实不少人均可以看到异地多活最大的挑战是什么?
一、距离。看起来距离没有什么,好比说1000千米以上也就是30毫秒的网络延迟,来回一次是30毫秒左右。30毫秒对于用户来说,若是只是给你增长30毫秒,用户其实没有感觉。可是当你打开一个淘宝页面的时候,事实上当你在商品页面看到一个商品点马上购买的时候,页面的背后大概有100屡次以上的后端交互,若是100屡次所有跨地域完成的话,就意味着页面的响应时间将增长3秒。若是增长3秒,用户绝对会有明显感觉。由于对于阿里来说,不少页面就出不来了,3秒已经超时了。对于咱们来说,这第一点是直接带来用户体验的不可用。
成本,当系统响应时间增高的时候,意味着每一年“双十一”增长的QPS将付出更大的成本,由于吞吐量在降低,这个时候的成本也是很难接受的。距离带来的延时问题是最大的问题。
二、既然要解决掉距离的问题,多点写是解决距离的问题,若是没有延时问题能够很少点写。只要开始多点写了就会带来第二个最复杂的问题,其实咱们认为第一点延时问题必定程度也许能够强制接受,也就是可以打开,打不开就有问题了。若是一旦出现多点写带来的数据正确性问题,这对咱们来说是最致命的。多点写,好比说出现这一次访问在A数据中心写的数据,而后再访问的时候到B数据中心又写了一条数据,两条数据若是合不到一块儿的话。对于你们最直观的感觉是有可能买了一个东西付了钱,而后看到多是没付钱。或者干脆买了一个东西,压根就没有看到购买。对于阿里来说,这是最大的一个问题。
对于咱们来说,在多点写的状况下最大的挑战是怎么保证用户写入的数据必定是在正确的地方,另外看到的必定是一致的,这是整个异地多活中最大的挑战。
针对这两个个问题,对于延时的问题来说,其实延长时的问题意味着最好的解决方案是什么呢?若是这一次访问页面的整个操做所有在当前机房内完成的,天然就不存在延时问题,由于没有跨出去。
针对第二个问题,异地。在全国部署的时候,意味着是否是要把整个业务所有全国部署,由于这有成本因素。你们知道阿里的业务很是庞杂,其实没有必要把全部的业务都在全国部署,由于不是全部的业务都有足够的量。
由于不是整个业务全国部署,因此决定起另一个名字叫单元化。意味着我是把业务划成了各类各样的单元,好比有交易的单元,这个单元是完成交易业务,因此在内部代号是单元化项目。
为了解决延时问题,能在一个机房内完成就不存在延时问题。另一个核心思想是单元封闭,须要让单元内的应用访问和数据的读写操做所有处于封闭状态,这就是最完美的情况。若是能作到这样,其实在全国任意城市部署都不会有问题。
开始多点写之后,怎么去保障整个数据写入的正确性以及一致性。阿里确实作了很是多的东西,由于一个用户访问阿里的时候,其实阿里的背后是庞大的分布式系统,你访问了一层可能只访问了一个系统,事实上背后牵涉进来几十个系统。我们把整你在访问每一层的时候路由都是正确的,好比这个用户访问数据中心A,可是因为某个缘由访问到数据中心B,怎么在保证后面访问不一样系统的时候准确跳转到正确的地方去,由于每一个数据中心的数据不太同样。
为了保证一个用户真正写数据的时候不要写错,写入数据库以前都会作保护动做,确保用户写的数据没有写错一个地方。若是写错一个地方,可能就没法恢复了,因此在那个地方有最后的一层保护。同时有实时数据校验系统检查是否符合咱们的指望。
对于异地多活来说,还有数据一致性中很大的挑战会出如今流量切换的动做中,好比说AB两个数据中心,A开始是承担20%的流量,8承担80%的流量。当把流量从一个地方切到另一个地方的时间,有可能出现切换过程当中你还在A数据中心写,但其实写完以后到B了,有可能看到出现的数据是不一致的。怎么保证在整个流量切换过程当中数据是绝对一致的,咱们也作了不少的东西。
在异地整个数据中心还有另一个很是重要的核心技术产品,就是咱们须要一个数据同步的东西。由于你们知道阿里如今除了OB之外,很重要的一块是MySQL,MySQL本身的主备是没有办法知足要求,在异地作到延时是没有办法知足的,咱们决定作了自研的数据同步产品。在2015年“双十一”中,全部数据同步控制在1秒之内,1秒之内是能够接受的。
阿里为了作到整个异地多活,其实本身也折腾了不少年。这个项目在阿里内部总共花了三年的时间,本身在最近的一封总结邮件中也写到,经历了三年的磨炼,咱们终于把异地多活变成了阿里电商架构级的能力,意味着在整个架构中具有异地多活的能力,在之前也许不必定具有。
咱们为了整个过程当中是比较平滑的,由于不能对业务产生太大影响,因此分了三年的时间去完成。在2013年首先采用的是在同城起用了两个单元双活,真正意义的双活,由于那两个单元都是写本身的数据库的,两个单元都是双写。
在2014年以为能够往前更进一步,选择了距离更近的城市,其实仍是有延时。若是没有作过单元化改造业务部署到异地的时候,页面会超时,有些页面打不开。可是由于单元化在背后就没有太大问题,在2014年成功在两个相距有必定距离的城市起用了异地双活,在去年“双十一”中两个城市分别承担了50%的用户流量,有些用户会访问一个城市,有些用户访问另一个城市,当下单的时候会下在同一个城市里面。
在今年单元化能够宣告能力基本成熟的阶段,因此在今年开始起用了距离在1000千米以上的另一个数据中心,而后今年数据中心是多点部署。从2015年从2个变成3个或4个之后,对于咱们来说的另一点是由于距离增长到了1000千米以上,基本上意味着阿里整个电商以及支付是能够在全国任意一个城市去部署,而且能够部署多个,意味着之后的“双十一”整个扩充能力是会变得很容易。
对于咱们来说,当阿里整个架构能力进一步提高到了异地多活时代之后,对于咱们来说带来了两个好处:
第1、有极强的水平伸缩能力。之前作“双十一”的时候,都必须去算,好比去年8万笔,今年14万笔的时候,必需要算增长的6万。还有由于每一年业务模式的变化须要算每一个应用加多少机器。可是在单元的状况下,一组单元就是多大的能力,而后只要按照单元扩充就结束了。假设一个单元能够作到2万笔,其实14万笔对于咱们来说是建设7个单元就结束了,整个伸缩能力会比之前强大很是多。并且每一个单元都是写本身的数据库和存储层,包括cache所有写本身的,这个时候伸缩规模是可控的,不像之前不断加,数据库有可能抗不住。在抗不住的时候可能会作分布等等,但其实也是比较复杂的,如今咱们改变了伸缩力度的模式。
第2、异地多活怎么去应对故障。好比在阿里内部会按照这样的等级去划分全部业务可以支持故障应对能力,好比说单实例出故障在多久能恢复,或者单机房或单城市或全局的服务,好比DNS等等,咱们会按照这个对每一个业务,而后就知道每一个业务当出现故障时整个应对能力是怎样的。
在阿里作完之后,但愿整个异地多活的能力能逐渐演变成业界的,好比说在阿里作了整个多活之后,其实金融行业也再也不但愿本身只是一个两地三中心而已,但愿更加往前前进一步,对于他们来说整个投入会更加划算。另外容灾能力会更强。阿里把本身异地多活的能力沉淀成不一样的东西,好比支付宝、蚂蚁金服把本身的能力承担到金融云里,就意味着在金融云上搭建的金融系统会天然具有异地多活的能力。
编辑总结
经过上面几位技术大拿的讲解,咱们会发现,因为中国网民数量是世界之最,中国互联网公司所面对的技术问题是其余国家很难想象的,因此咱们的技术也都须要本身去研发。以阿里为主的互联网人,经过双11这种残酷的考验来锻炼本身的技术和产品,从而用这种产品为更多的用户服务。
安庆英语培训机构 安顺英语培训机构 安阳英语培训机构 鞍山英语培训机构 阿拉善英语培训机构 安康英语培训机构 阿坝英语培训机构 阿里英语培训机构 阿克苏英语培训机构 阿勒泰英语培训机构 北京英语培训机构 蚌埠英语培训机构 亳州英语培训机构 白银英语培训机构 北海英语培训机构 百色英语培训机构 毕节英语培训机构 保定英语培训机构 白山英语培训机构 白城英语培训机构 本溪英语培训机构 包头英语培训机构 巴彦淖尔英语培训机构 滨州英语培训机构 宝鸡英语培训机构 巴中英语培训机构 巴音郭楞英语培训机构 博尔塔拉英语培训机构 保山英语培训机构 重庆英语培训机构 潮州英语培训机构 滁州英语培训机构 巢湖英语培训机构 池州英语培训机构 崇左英语培训机构 沧州英语培训机构 承德英语培训机构 长沙英语培训机构 常德英语培训机构 郴州英语培训机构 长春英语培训机构 常州英语培训机构 朝阳英语培训机构 赤峰英语培训机构 长治英语培训机构 成都英语培训机构 昌都英语培训机构 昌吉英语培训机构 楚雄英语培训机构 东莞英语培训机构 定西英语培训机构 大庆英语培训机构 大兴安岭英语培训机构 大连英语培训机构 丹东英语培训机构 东营英语培训机构 德州英语培训机构 大同英语培训机构 德阳英语培训机构 达州英语培训机构 大理英语培训机构 德宏英语培训机构 迪庆英语培训机构 鄂州英语培训机构 恩施英语培训机构 鄂尔多斯英语培训机构 佛山英语培训机构 阜阳英语培训机构 福州英语培训机构 防城港英语培训机构 抚州英语培训机构 抚顺英语培训机构 阜新英语培训机构 广州英语培训机构 甘南英语培训机构 桂林英语培训机构 贵港英语培训机构 贵阳英语培训机构 赣州英语培训机构 固原英语培训机构 果洛英语培训机构 广安英语培训机构 广元英语培训机构 甘孜英语培训机构 惠州英语培训机构 河源英语培训机构 杭州英语培训机构 湖州英语培训机构 合肥英语培训机构 淮南英语培训机构 鹤壁英语培训机构 黄山英语培训机构 河池英语培训机构 贺州英语培训机构 海口英语培训机构 邯郸英语培训机构 衡水英语培训机构 哈尔滨英语培训机构 鹤岗英语培训机构 黑河英语培训机构 黄石英语培训机构 黄冈英语培训机构 衡阳英语培训机构 怀化英语培训机构 淮安英语培训机构 葫芦岛英语培训机构 呼和浩特英语培训机构 呼伦贝尔英语培训机构 海东英语培训机构 海北英语培训机构 黄南英语培训机构 海西英语培训机构 菏泽英语培训机构 汉中英语培训机构 哈密英语培训机构 和田英语培训机构 红河英语培训机构 荆门英语培训机构 揭阳英语培训机构 嘉兴英语培训机构 金华英语培训机构 嘉峪关英语培训机构 金昌英语培训机构 酒泉英语培训机构 焦做英语培训机构 鸡西英语培训机构 佳木斯英语培训机构 荆州英语培训机构 吉林英语培训机构 景德镇英语培训机构 九江英语培训机构 吉安英语培训机构 锦州英语培训机构 济南英语培训机构 济宁英语培训机构 晋城英语培训机构 晋中英语培训机构 开封英语培训机构 克拉玛依英语培训机构 喀什英语培训机构 昆明英语培训机构 丽水英语培训机构 六安英语培训机构 洛阳英语培训机构 兰州英语培训机构 陇南英语培训机构 临夏英语培训机构 柳州英语培训机构 来宾英语培训机构 六盘水英语培训机构 廊坊英语培训机构 漯河英语培训机构 娄底英语培训机构 辽源英语培训机构 连云港英语培训机构 辽阳英语培训机构 莱芜英语培训机构 临沂英语培训机构 聊城英语培训机构 临汾英语培训机构 吕梁英语培训机构 泸州英语培训机构 乐山英语培训机构 凉山英语培训机构 拉萨英语培训机构 林芝英语培训机构 丽江英语培训机构 临沧英语培训机构 茂名英语培训机构 梅州英语培训机构 马鞍山英语培训机构 牡丹江英语培训机构 绵阳英语培训机构 眉山英语培训机构 宁波英语培训机构 南平英语培训机构 宁德英语培训机构 南宁英语培训机构 南阳英语培训机构 南京英语培训机构 南通英语培训机构 南昌英语培训机构 南充英语培训机构 内江英语培训机构 那曲英语培训机构 怒江英语培训机构 莆田英语培训机构 平凉英语培训机构 濮阳英语培训机构 平顶山英语培训机构 萍乡英语培训机构 盘锦英语培训机构 攀枝花英语培训机构 清远英语培训机构 钦州英语培训机构 庆阳英语培训机构 黔南英语培训机构 黔东南英语培训机构 黔西南英语培训机构 迁安英语培训机构 秦皇岛英语培训机构 齐齐哈尔英语培训机构 七台河英语培训机构 青岛英语培训机构 曲靖英语培训机构 日照英语培训机构 日喀则英语培训机构 上海英语培训机构 深圳英语培训机构 汕头英语培训机构 韶关英语培训机构 汕尾英语培训机构 绍兴英语培训机构 宿州英语培训机构 三明英语培训机构 三亚英语培训机构 石家庄英语培训机构 三门峡英语培训机构 商丘英语培训机构 双鸭山英语培训机构 绥化英语培训机构 十堰英语培训机构 随州英语培训机构 邵阳英语培训机构 四平英语培训机构 松原英语培训机构 苏州英语培训机构 宿迁英语培训机构 上饶英语培训机构 沈阳英语培训机构 石嘴山英语培训机构 朔州英语培训机构 商洛英语培训机构 遂宁英语培训机构 山南英语培训机构 石河子英语培训机构 天津英语培训机构 台州英语培训机构 铜陵英语培训机构 天水英语培训机构 铜仁英语培训机构 唐山英语培训机构 通化英语培训机构 泰州英语培训机构 铁岭英语培训机构 通辽英语培训机构 泰安英语培训机构 太原英语培训机构 铜川英语培训机构 吐鲁番英语培训机构 塔城英语培训机构 温州英语培训机构 芜湖英语培训机构 武威英语培训机构 梧州英语培训机构 武汉英语培训机构 无锡英语培训机构 乌海英语培训机构 乌兰察布英语培训机构 吴忠英语培训机构 潍坊英语培训机构 威海英语培训机构 渭南英语培训机构 乌鲁木齐英语培训机构 文山英语培训机构 宣城英语培训机构 厦门英语培训机构 邢台英语培训机构 信阳英语培训机构 新乡英语培训机构 许昌英语培训机构 襄樊英语培训机构 咸宁英语培训机构 孝感英语培训机构 湘潭英语培训机构 湘西英语培训机构 徐州英语培训机构 新余英语培训机构 兴安盟英语培训机构 锡林郭勒英语培训机构 西宁英语培训机构 忻州英语培训机构 西安英语培训机构 咸阳英语培训机构 西双版纳英语培训机构 阳江英语培训机构 云浮英语培训机构 义乌英语培训机构 玉林英语培训机构 伊春英语培训机构 宜昌英语培训机构 岳阳英语培训机构 益阳英语培训机构 永州英语培训机构 延边英语培训机构 扬州英语培训机构 盐城英语培训机构 鹰潭英语培训机构 宜春英语培训机构 营口英语培训机构 银川英语培训机构 玉树英语培训机构 烟台英语培训机构 阳泉英语培训机构 运城英语培训机构 延安英语培训机构 榆林英语培训机构 宜宾英语培训机构 雅安英语培训机构 伊犁英语培训机构 玉溪英语培训机构 珠海英语培训机构 湛江英语培训机构 肇庆英语培训机构 中山英语培训机构 舟山英语培训机构 漳州英语培训机构 张掖英语培训机构 资阳英语培训机构 张家口英语培训机构 郑州英语培训机构 驻马店英语培训机构 周口英语培训机构 株洲英语培训机构 张家界英语培训机构 镇江英语培训机构 中卫英语培训机构 淄博英语培训机构 枣庄英语培训机构 自贡英语培训机构 昭通英语培训机构 英语培训机构