618 技术特辑（二）几百万人同时下单的秒杀，为何愈来愈容易抢到了？
摘要：几百万人同时下单，你抢到的几率为什么愈来愈大？电商企业又是如何掌握大促期间上亿的销售数据？
本文分享自华为云社区《618 技术特辑（二）几百万人同时下单的秒杀，为何愈来愈容易抢到了？》，原文做者：技术火炬手。数据库
把心仪的商品加入购物车，点击结算，付款，商品页面的销量+1，库存量-1，若是只有几十我的下单，系统轻松应付，可是当这个数量变为百万、千万，就是另外一番情形了。segmentfault
电商企业在大促期间面临流量访问压力：网站的访问用户激增让单服务器超负荷运行，从而致使网站访问卡顿或失败，严重影响用户体验，弹性负载均衡服务能够轻松解决这个难题。后端
弹性负载均衡：哪里压力大往哪里搬
弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务，华为云的ELB就能够经过流量分发扩展应用系统对外的服务能力，并经过消除单点故障提高应用系统的可用性。安全
面对不一样的电商业务需求，ELB能够灵活处理。举个例子，对于业务量访问较大的业务，能够经过ELB设置相应的转发规则，将访问量均匀的分到多个后端云服务器处理；对于存在潮汐效应的业务，能够随时在ELB上添加和移除后端云服务器，好比在大促第一波高潮前增长服务器，到了中期再移除，最后收尾的时候从新加上。服务器
这样既能保证大促期间，商品页面不会由于过多访问而阻塞，也能控制成本的开支。但运营人员如何知道何时添加/减小服务器，何时为ELB设置转发规则，就得对整个促销的节奏以及自家产品数据有基本的预判。架构
因此，大促期间，除了访问流量压力，更让人头疼的则是数据的实时分析管理能力。并发
数据仓库：有货没货，卖了多少单，系统门清
一般状况下，电商数据主要分两块：负载均衡
- 第1类是面向交易的订单、商品、活动、发货等数据；
- 第2类是平台运行的实时日志及用户在平台上活动产生的行为数据。
若是企业没法应对大规模在线交易及“实时分析”的业务要求，这“618”这样的大促中就没法掌握主动权。运维
举个例子，某运动服饰类电商企业原有系统采用传统解决方案，交易和BI相互独立。交易平台采用分布式中间件+单机版数据库搭建。因为该方案不具有数据的强一致性能力，在同一时刻系统中数据多是不完整、不许确的，好比一分前已经销售了100单，但库存没有变化，最后为销售对单带来极大困难。为保证数据的最终一致性，交易系统数据须要经过ETL工具时隔数小时后同步到BI系统，没法作到实时分析，销售及运营主管没法实时掌握经营状况。分布式
为了解决这个问题，他们后来采用了华为云混合负载数据仓库DWS。DWS采用“一库两用”的设计理念，一套数据仓库集群既能够支持超高并发、低时延的业务交易请求，同时可支撑复杂的海量数据分析和BI应用，减小开发和运维成本。相比于原系统，BI系统时效性大大提升，且数据分析性能提高3倍。
作到数据实时一致的同时，DWS也确保了对单数据的准确，以及运营报表的“零”时延。
DWS小规模可支持万级TPS的写入能力，横向扩展后可达百万至千万级TPS，支撑该电商企业平稳度过 “双十一”、“双十二”。并且因为它原生具有分布式事务ACID特性，具备数据的强一致性保证，在任什么时候刻都可保证交易系统数据的准确性、完整性，确保对单数据无误。再加上DWS的高可用架构设计，提供自动化数据备份功能，可靠性达到小数点后的11个9，保障业务数据不丢失。
数据可视化：销售有没有破纪录，就看它了
当咱们把不一样系统模块数据整合到数仓中，让它进一步清洗、整合、规则处理，实现实时、完整以及准确的数据后，还须要经过数据可视化平台推送到产品及运营人员进行可视分析。
华为商城以前就将电商大数据应用由TIDB+Spark集群搬迁到基于华为云以DWS数据库为核心的数仓平台中。
在数据的实时集成方面，华为云提供了基于Flink、Spark两种流计算引擎的CS流计算服务。随着Flink社区的活跃及FlinkSQL对应用开发者极大的门槛下降，经过SQL的形式便可实现流计算。
华为云将通用的消息中间件封装成对应数据输入的source算子，逻辑层用SQL做为表示，各类数据存储平台做为sink算子封装。若是用原生Flink API的方式，开发及发布一个简短的输入输出任务，起码2小时才能够完工，但如今一站式的流计算平台10分钟便可完成。 并且进行语法校验后，绝大多数问题均可以在这个环节规避，发布以后，就能经过数据可视界面，查看其输入输出的数据信息进行校验监控。
BI数据可视模块选择的是华为云DLV服务，以大屏场景为主。华为商城某次大促活动须要临时加一个指挥大屏看数据，2个开发人员加了2小时班，一个作前台，一个处理数据逻辑，很快完成了0.1版本并发布，以后再持续迭代优化效果。
图：某企业经营数据看板
核心数仓装备以外，DAYU数据开发套件平台可极大提高发布效率，DAYU以数据调度平台为核心做为扩展，融合了数据监控、元数据库管理、数据服务发布，这些服务华为商城大数据平台都有逐步使用。
简单介绍下其中开发人员最经常使用的DLF（调度平台），以一个数据API发布来讲，开发人员先在DLF上开启一个Job，拖入三个任务：CDM（将TIDB任务集成到DWS）、2个DWS SQL（一个作DWR层规则处理，一个作数据DWD结果呈现），而后将结果表数据经过DAYU的DLG服务进行API发布，其余领域便可进行调用。
电商企业上云后，解决了基础设施的难题，得以把更多的精力聚焦在业务逻辑开发上，不用再考虑服务负载均衡，容灾等等，也下降了运维的负担和人力成本。对于消费者来讲，大促期间的抢购体验更好，流量高峰期下单也能抢到心仪的商品。
最后
电商在争夺消费者的战争中，技术的进步相当重要。从消费需求的产生，到购买行为的深刻，从供应链到平台交易数据的分析管理，从直播带货的低时延到业务数据的安全，云计算、AI、大数据等技术的迭代，一步步改变在线购物的模式，也定义了新的商业模式。
曾经，AR/VR技术在内容呈现和消费者互动上提供了新的可能性，随着5G技术的成熟，以及经历前期高投入和试错后，模拟真实场景的VR购物，或许会让足不出户边逛边买成为一种常态化的购物模式。
在消费者的另外一端——智慧物流侧，IoT、边缘计算、机器视觉、无人驾驶，这些技术已经在改变传统的物流仓储和运送体系，从自动化立体仓储、自动输送、自动分拣到机器人做业，规整统一的自动化操做提升了运做效率。
618是消费者购物狂欢的节日，它对电商企业也是一次大考，创新高的业绩背后考验他们的技术实力。换个角度看，618在拉动内需的同时，也拉紧了技术创新、产业升级背后的那根绳子。
618技术特辑（一）不知不觉超预算3倍，你为什么买买买停不下来？若是你想了解为何每当大促的时候，咱们的钱包老是被掏空？这背后究竟是你们自制力不够，仍是电商平台太会读懂人心，咱们不妨从技术维度，抽丝剥茧一探究竟。