双十一背后数据中心运维保障那些事儿

“双十一”即指每一年的11月11日，因为日期特殊，所以又被称为光棍节。而大型的电子网站通常会利用这一天来进行一些大规模的打折促销活动，以提升销售额度。它们选择“双十一”促销也是为了错开线下促销的周期。国庆、圣诞、元旦都是实体店促销的时间节点，因而从国庆假期后至圣诞节前实体店会造成促销的真空期，可是为了完成销售任务，商家必须提早在11月发力。从2009年11月11日，淘宝商城举办了第一届双十一促销到如今，已经举办了三届，在2012年的“双十一”购物狂欢节总销售额191亿，今年的 “双十一”购物狂欢节预计销售额会超过200亿。

一个购物网站要在一天处理完成超过1亿笔的交易，淘宝是如何作到的呢？其实，在网站简单的买卖交易背后，凝结了数千人默默无闻的运维保障工做。除了要完成交易，还有更多的时间用户是在浏览网站的商品，若是一个网页点击超过5秒才打开连接，这也将严重影响用户的体验，所以在确保买卖交易能够完成的同时，还要在如此大的访问量的状况下，保证用户的购物体验，这不得不说是一项艰巨的任务。早在2012年，淘宝“双十一”购物狂欢节的一分钟内千万级别访问量涌入，致使购物车和支付宝没法访问。你们知道这时千万级别的ID不只仅是每一个用户的数据，同时包括所购买产品的数据、包括银行系统的高并发访问。瞬间海量数据的I/O，如此高的并发用户访问、检索以及支付致使硬件工做负荷加大，天然就会造成自我保护性关闭或崩溃，从而使网站瘫痪。

“双十一”期间淘宝网站的访问量是平时的几倍、甚至几十倍，原有的数据中心性能是没法知足的，而这种促销就只有一天，淘宝又不可能大肆的扩大数据中心规模而去保障这一天，这样会形成大部分时间数据中心处于资源浪费状态，所以只能从别的方面考虑优化。从访问量上来说，也就是在“双十一”刚开始的几分钟流量最大，流量瞬间变大，后续的一天的时间流量基本都比较稳定，一天事后流量大大降低。面对瞬间巨量的访问，数据中心会进行分流，淘宝的数据中心遍及全国各地，大量的数据访问分屡次、多地点进行，能够实现多站点并行做业，保证高并发的数据访问。通过3年的“双十一”活动，淘宝已经对突发的访问量可以作好预估，根据现有的数据中心处理性能，适当地增长一些临时设备，启用备用系统，从而确保淘宝顺利平稳过渡“双十一”。

在淘宝有一个应用运维团队，即PE团队。PE团队负责淘宝网在线交易、广告系统、数据平台等应用运维系统技术部门，是为淘宝带来高速增加核心运维团队。“双十一”购物节也给PE团队带来了巨大压力。基本上为了应对“双十一”购物节，PE团队提前就作足了准备工做。好比包括：检查全国各地数据中心运行负荷状况，以便在高峰流量到来时灵活分散访问流量；增长备件，作好配置，大量的设备硬件出现故障不可避免，在关键业务设备作好备件，一旦出现故障及时更换，将故障时间控制在几分钟内；协调好各类设备的供应商厂家工程师驻场待命，以便出现故障时，和PE团队共同处理，减小中间的沟通环节，缩短故障处理时间；启动这种应急预案，对可能发生的突发状况进行预判，制定响应的方案；在“双十一”以前进行故障模拟演练，验证解决方案是否可行。在作好的充分准备后迎接“双十一”的到来。

在11·11购物节的24小时里，PE团队的人员会时刻关注着淘宝网站的运行状况。主要监控三个方面的情况：

1、是监控业务层面。好比说原本每秒建立是2000笔的，如今忽然一降低成500笔了，这就可能有问题了，再有可能订单生成，有丢单等等，这些业务层面的问题会大大影响销售额，这样PE团队就会当即召集业务部门和软件开发系统的人员公共分析问题缘由。

2、是应用系统监控。检查JVM跑的是否正常，是否是有频繁的垃圾回收，反馈时间是否在200MS之内，一旦反馈时间超过200MS，则访问网站的速度就会降低，若是超过500MS，则访问网站的体验就会不好了。这时PE团队要系统软件开发人员共同分析问题，找过故障点。

3、是基础设施保障。这种基础的包括网络、服务器、存储设备等。好比说咱们的路由器是否是通的，咱们的交换是否是有问题啊，DNS服务是否是有问题啊，等等。

“双十一”购物节事后，PE团队要对数据中心出现的问题进行总结，杜绝相似问题再次发生，这个节日是对淘宝数据中心的一次巨大考验，不少问题都会在这样的突发流量下暴漏出来，因此对于PE团队也是可贵的一次学习机会。淘宝的数据中心出口带宽已经超过两个T，就是在峰值的时候，每秒出去两个T的数据。因而可知，淘宝数据中心的处理能力是超强的，但简单的提高网络访问带宽还远远不够，须要的是淘宝数据中心总体的处理性能的提高。通过“双十一”购物节的洗礼，PE团队会找到目前数据中心薄弱的地方，而后再不断改进。

在淘宝，要求数据中心整年断网时间不能超过2小时，故障等级分为四级：P1~P4。P1是最严重的故障，P4最轻微。若是频繁出现P1故障，那么PE团队人员的收入都会受到损失。所以，PE团队时刻都保持了如履薄冰的心态，应对每一次突发问题。其实在任何一个数据中心都同样，咱们在享受数据中心带来的生活、工做便利的同时，在其背后是有无数的技术工做者提供运维保障，正是这些默默无闻的运维人员辛苦的工做才构筑了咱们今天美好的生活。