图解分布式架构的演进

  参考:https://www.cnblogs.com/my376908915/p/6813321.htmlhtml

1、什么是分布式架构mysql

  分布式系统(distributed system) 是创建在网络之上的软件系统。web

  内聚性:是指每个数据库分布节点高度自治,有本地的数据库管理系统。sql

  透明性:是指每个数据库分布节点对用户的应用来讲都是透明的,看不出是本地仍是远程。数据库

  

  在分布式数据系统中,用户感受不数据是分布的,即用户不须知道关系是否分割,有无副本,数据存在于那个站点以及事物在哪一个站点上执行。apache

  简单来讲:在一个分布式系统中,一组独立的计算机展示给用户的是一个统一的总体,就好像是一个系统似的。后端

  

分布式系统做为一个总体对用户提供服务,而整个系统的内部的协做对用户来讲是透明的,用户就像是指使用一个mysql 同样。缓存

如:分布式mysql中间件 mycat ,来处理大并发大数据量的构架。服务器

 

2、分布式架构的应用网络

  一、分布式文件系统

    例如:出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等

  二、分布式缓存系统

    例如:memcache , hbase, mongdb 等

  三、分布式数据库

    例如:mysql, mariadb, postgreSql 等

  四、分布式webService

  五、分布式计算

  举例

    以分布式mysql 数据库中间件mycat 为例    

    MySQL 在如今电商以及互联网公司的应用很是多,一个是由于他的免费开源,另一个缘由是由于分布式系统的水平可扩展性,随着移动互联网用户的暴增,互联网公司,像淘宝,天猫,惟品会等

    电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中,有对中国移动的帐单结算项目中,应用实时处理高峰期天天2亿的数据量,在对物联网的项目中,实现处理

    高达26亿的数据量,并提供实时查询的接口。

    经过对MyCat的学习,加深分布式系统架构的理解,以及分布式相关的技术,分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。

    1> 集群 与 分布式

    2> 负载均衡

    3> 分布式相关的高可用、容灾等名词解释

    4> Mycat 中间件学习

3、资源推荐

  一、大型分布式网站架构设计与实践   

  二、大型网站技术架构:核心原理与案例分析   

  三、大型网站系统与Java中间件实践   

  四、分布式Java应用:基础与实践   

4、分布式架构的演进

  (1)始阶段架构 

  

  特征:应用程序,数据库,文件等全部资源都放在一台服务器上。

 

  (2)应用服务 和 数据服务 以及 文件服务 分离

   

  说明:好景不长,发现随着系统访问量的再度增长,webserver机器的压力在高峰期会上升到比较高,这个时候开始考虑增长一台webserver。

  特征:应用程序、数据库、文件分别部署在独立的资源上。

 

  (3)使用缓存改善性能

  

  说明:系统访问特色遵循二八定律,即80%的业务访问集中在20%的数据上。

     缓存分为 本地缓存 和 远程分布式缓存,本地缓存访问速度更快但缓存数据量有限,同时存在与应用程序争用内存的状况。

  特征:数据库中访问较集中的一小部分数据存储在缓存服务器中,减小数据库的访问次数,下降数据库的访问压力。


  (4)使用“应用服务器”集群
    

    说明:在作完分库分表这些工做后,数据库上的压力已经降到比较低了,又开始过着天天看着访问量暴增的幸福生活了。

       忽然有一天,发现系统的访问又开始有变慢的趋势了,这个时候首先查看数据库,压力一切正常,以后查看webserver,发现apache阻塞了不少的请求,

         而应用服务器对每一个请求也是比较快的,看来是请求数过高致使须要排队等待,响应速度变慢。

    特征:多台服务器经过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

    描述:使用集群是系统解决高并发、海量数据问题的经常使用手段。经过向集群中追加资源,提高系统的并发处理能力,使得服务器的负载压力再也不成为整个系统的瓶颈。

  

  (5)数据库读写分离

     

     说明:享受了一段时间的系统访问量高速增加的幸福后,发现系统又开始变慢了,此次又是什么情况呢,

        通过查找,发现数据库写入、更新的这些操做的部分数据库链接的资源竞争很是激烈,致使了系统变慢

     特征:多台服务器经过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

     描述:使用集群是系统解决高并发、海量数据问题的经常使用手段。经过向集群中追加资源,使得服务器的负载压力不在成为整个系统的瓶颈。

 

  (6)反向代理和CDN加速 

     

    特征:采用CDN和反向代理加快系统的访问速度。

    描述:为了应付复杂的网络环境和不一样地区用户的访问,经过CDN和反向代理加快用户访问的速度,同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存

 

  (7)“分布式文件”系统 和 “分布式数据库

      

    说明:随着系统的不断运行,数据量开始大幅度增加,这个时候发现分库后查询仍然会有些慢,因而按照分库的思想开始作分表的工做

    特征:数据库采用分布式数据库,文件系统采用分布式文件系统。

    描述:任何强大的单一服务器都知足不了大型系统持续增加的业务需求,数据库读写分离随着业务的发展最终也将没法知足需求,须要使用分布式数据库及分布式文件系统来支撑。
         分布式数据库是系统数据库拆分的最后方法,只有在单表数据规模很是庞大的时候才使用,更经常使用的数据库拆分手段是业务分库,将不一样的业务数据库部署在不一样的物理服务器上。

 

  (8)使用NoSQL和搜索引擎     

     

    特征:系统引NoSQL数据库搜索引擎

    描述:随着业务愈来愈复杂,对数据存储和检索的需求也愈来愈复杂,系统须要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。

         应用服务器经过统一数据访问模块访问各类数据,减轻应用程序管理诸多数据源的麻烦。

   (9)业务拆分

     

    特征:系统上按照业务进行拆分改造,应用服务器按照业务区分进行分别部署。

    描述:为了应对日益复杂的业务场景,一般使用分而治之的手段将整个系统业务分红不一样的产品线,应用之间经过超连接创建关系,也能够经过消息队列进行数据分发,

        固然更多的仍是经过访问同一个数据存储系统来构成一个关联的完整系统。

    纵向拆分:将一个大应用拆分为多个小应用,若是新业务较为独立,那么就直接将其设计部署为一个独立的Web应用系统 纵向拆分相对较为简单,经过梳理业务,将较少相关的业务剥离便可。

    横向拆分:将复用的业务拆分出来,独立部署为分布式服务,新增业务只须要调用这些分布式服务 横向拆分须要识别可复用的业务,设计服务接口,规范服务依赖关系。

 

   (10)分布式服务

     

    特征:公共的应用模块被提取出来,部署在分布式服务器上供应用服务器调用。

    描述:随着业务越拆越小,应用系统总体复杂程度呈指数级上升,因为全部应用要和全部数据库系统链接,最终致使数据库链接资源不足,拒绝服务。

 

5、分布式服务应用会面临哪些问题?

  (1) 当服务愈来愈多时,服务URL配置管理变得很是困难,F5硬件负载均衡器的单点压力也愈来愈大。
  (2) 当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪一个应用要在哪一个应用以前启动,架构师都不能完整的描述应用的架构关系。
  (3) 接着,服务的调用量愈来愈大,服务的容量问题就暴露出来,这个服务须要多少机器支撑?何时该加机器?
  (4) 服务多了,沟通成本也开始上升,调某个服务失败该找谁?服务的参数都有什么约定? 
  (5) 一个服务有多个业务消费者,如何确保服务质量?
  (6) 随着服务的不停升级,总有些意想不到的事发生,好比cache写错了致使内存溢出,故障不可避免,每次核心服务一挂,影响一大片,人心慌慌,如何控制故障的影响面?服务是否能够功能降级?或者资源劣化? 

 

参考资料:

  亿级Web系统搭建——单机到分布式集群:http://kb.cnblogs.com/page/509402/

  网站架构 http://www.cnblogs.com/itfly8/tag/%E7%BD%91%E7%AB%99%E6%9E%B6%E6%9E%84/#undefined