JAVA分布式架构的演变及解决方案

JAVA分布式架构的演变及解决方案

分布式系统介绍

 

定义：

 

组件分布在网络计算机上

 

组件之间仅仅经过消息传递来通讯并协调行动

 

负载均衡

 

硬件负载均衡

如f5等，大多比较昂贵。

 

软件负载均衡

如lvs,nginx等。免费，可控性强

 

 

总结：

1：增长网络开销与延迟，不过基本上影响很小，能够不在考虑因素以内

2：负载均衡硬件/软件出现问题，那么整个网络都会受到影响，因此须要考虑代理服务器的双机热备问题。

 

并且在切换过程当中，未完成的请求仍是会受到影响。总的来讲，是一种很是方便及适用的保证高可用的一种方式。

 

 为了解决当交易数据库出现故障时，整个系统就会瘫痪这个单点的问题，咱们能够添加另一个数据库，与数据库一保持相同的数据。

 

 

 

事务

 

单机的事务很方便的就能控制，而在分布式环境中，事务是比较重要也比较难解决的一个问题。主要是经过两段提交(2pc)/最终一致/BASE/CAP/Paxos等来实现的。

分布式一致性算法： 

http://www.hollischuang.com/archives/693 

http://www.hollischuang.com/archives/663 

两阶段提交协议/三阶段提交协议：http://www.hollischuang.com/archives/681 

BASE：http://www.hollischuang.com/archives/672 

CAP： http://www.hollischuang.com/archives/666

 

 

 

 

 

 

 

 分布式和集群区别：

 

一句话：分布式是并联工做的，集群是串联工做的。

 

分布式：一个业务分拆多个子业务，部署在不一样的服务器上

集群：同一个业务，部署在多个服务器上

 

集群是个物理形态 ，分布式是个工做方式 。

只要是一堆机器，就能够叫集群，他们是否是一块儿协做着干活，这个谁也不知道；一个程序或系统，只要运行在不一样的机器上，就能够叫分布式，嗯，C/S架构也能够叫分布式。

集群通常是物理集中、统一管理的，而分布式系统则不强调这一点。

因此，集群可能运行着一个或多个分布式系统 ，也可能根本没有运行分布式系统；分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算多台）机器 上。

 

 

 

1：分布式是指将不一样的业务分布在不一样的地方。 而集群指的是将几台服务器集中在一块儿，实现同一业务。

 

分布式中的每个节点，均可以作集群。 而集群并不必定就是分布式的。

 

2：简单说，分布式是以缩短单个任务的执行时间来提高效率的，而集群则是经过提升单位时间内执行的任务数来提高效率。

 

例如：

 

若是一个任务由10个子任务组成，每一个子任务单独执行需1小时，则在一台服务器上执行该任务需10小时。

 

采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工做模式的一个典型表明就是Hadoop的Map/Reduce分布式计算模型）

 

而采用集群方案，一样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工做，1小时后，10个任务同时完成，这样，整身来看，仍是1小时内完成一个任务！

 

 

 

分布式系统基础架构：

 

Hadoop（Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算）

 

 

 

 分布式系统解决方案：

 

Apache HTTP Server+tomcat+redis+mysql 分布式数据库+分布式文件系统

 

Nginx+Tomcat+redis+mysql 分布式数据库+分布式文件系统

 

系统架构演变

 

系统架构演化历程-初始阶段架构

 

初始阶段 的小型系统 应用程序、数据库、文件等全部的资源都在一台服务器上通俗称为LAMP

 

解决方案： 单机部署

 

 

 

系统架构演化历程-应用服务和数据服务分离

 

数据量增长，单台服务器性能及存储空间不足，须要将应用和数据分离，并发处理能力和数据存储空间获得了很大改善。

 

应用程序、数据库、文件分别部署在独立的资源上

 

 解决方案： 多机部署应用、数据库、文件

 

 

 

系统架构演化历程-使用缓存改善性能

 

数据库中访问较集中的一小部分数据存储在缓存服务器中，减小数据库的访问次数，下降数据库的访问压力

 

系统访问特色遵循二八定律，即80%的业务访问集中在20%的数据上

 

缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的状况。

 

解决方案： Redis、Nosql、ORM框架的缓存机制、ehcache（分布式缓存框架）

 

 

 

系统架构演化历程-使用应用服务器集群

 

分库分表以后，数据库，压力一切正常，以后查看webserver，发现apache阻塞了不少的请求

 

而应用服务器对每一个请求也是比较快的，看来 是请求数过高致使须要排队等待，响应速度变慢

 

多台服务器经过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。

 

使用集群是系统解决高并发、海量数据问题的经常使用手段。经过向集群中追加资源，提高系统的并发处理能力，使得服务器的负载压力再也不成为整个系统的瓶颈。

 

 解决方案： tomcat+Apache HTTP Server+redis、Nginx+Tomcat+redis、Nginx+Tomcat+Memcached

 

 

 

系统架构演化历程-数据库读写分离

 

数据库写入、更新的这些操做的部分数据库链接的资源竞争很是激烈，致使了系统变慢。

 

读写分离，是把对数据库读和写的操做分开对应不一样的数据库服务器。主数据库提供写操做，从数据库提供读操做。当主数据库进行写操做时，数据要同步到从的数据库，有效保证数据库完整性。

 

Quest SharePlex就是比较牛的同步数据工具，据说比oracle自己的流复制还好，MySQL也有本身的同步数据技术。

 

mysql只要是经过二进制日志来复制数据。经过日志在从数据库重复主数据库的操做达到复制数据目的。这个复制比较好的就是经过异步方法，把数据同步到从数据库。

 

读的操做怎么样分配到从数据库上？应该根据服务器的压力把读的操做分配到服务器，而不是简单的随机分配。mysql提供了MySQL-Proxy 实现读写分离操做。不过MySQL-Proxy好像好久不更新了。oracle能够经过F5有效分配读从数据库的压力。

 

 解决方案： mysql有Mysql Proxy、Amoeba、Atlas；

 

 

 

系统架构演化历程-反向代理和CDN加速

 

为了应付复杂的网络环境和不一样地区用户的访问，经过CDN和反向代理加快用户访问的速度，同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。

 

  解决方案： Nginx，apache

 

CDN：

 

目的是使用户可就近取得所需内容，解决Internet网络拥挤的情况，提升用户访问网站的相应速度。

 



 

反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的链接请求，而后将请求转发给内部网络上的服务器，并将从服务器上获得的结果返回给internet上请求链接的客户端，

 

此时代理服务器对外就表现为一个反向代理服务器。这样作的好处是保护了真实的服务器

 

 

 

 

 

 

 

系统架构演化历程-分布式文件系统和分布式数据库

 

发现分库后查询仍然会有些慢，因而按照分库的思想开始作分表的工做

 

数据库采用分布式数据库（全部节点的数据加起来才算是总体数据），文件系统采用分布式文件系统

 

任何强大的单一服务器都知足不了大型系统持续增加的业务需求，数据库读写分离随着业务的发展最终也将没法知足需求，须要使用分布式数据库及分布式文件系统来支撑。

 

分布式数据库是系统数据库拆分的最后方法，只有在单表数据规模很是庞大的时候才使用，更经常使用的数据库拆分手段是业务分库，将不一样的业务数据库部署在不一样的物理服务器上。

 

 解决方案： mysql有mysql cluster 和 Mysql Proxy;mongodb(是一个基于分布式文件存储的数据库)；

 

分布式文件系统方案：CEPH、glusterfs、fastDFS、mogilefs 、moosefs，Hadoop实现了一个分布式文件系统（Hadoop Distributed File System）

 

 

 

系统架构演化历程-使用NoSQL和搜索引擎

 

特征：

系统引入NoSQL数据库及搜索引擎。

 

描述：

随着业务愈来愈复杂，对数据存储和检索的需求也愈来愈复杂，系统须要采用一些

 

非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。应用服务器经过统一数据访问模块访问各类数据，减轻应用程序管理诸多数据源的麻烦。

 

 

 

系统架构演化历程-业务拆分

 

特征：

系统上按照业务进行拆分改造，应用服务器按照业务区分进行分别部署。

 

描述：

为了应对日益复杂的业务场景，一般使用分而治之的手段将整个系统业务分红不一样的产品线，

 

应用之间经过超连接创建关系，也能够经过消息队列进行数据分发，

 

固然更多的仍是经过访问同一个数据存储系统来构成一个关联的完整系统。

 

 

 

纵向拆分：

将一个大应用拆分为多个小应用，若是新业务较为独立，那么就直接将其设计部署为一个独立的Web应用系统

纵向拆分相对较为简单，经过梳理业务，将较少相关的业务剥离便可。

 

横向拆分：

 

将复用的业务拆分出来，独立部署为分布式服务，新增业务只须要调用这些分布式服务

横向拆分须要识别可复用的业务，设计服务接口，规范服务依赖关系。

 

 

 

系统架构演化历程-分布式服务

 

特征：

公共的应用模块被提取出来，部署在分布式服务器上供应用服务器调用。

描述：

随着业务越拆越小，应用系统总体复杂程度呈指数级上升，因为全部应用要和全部数据库系统链接，最终致使数据库链接资源不足，拒绝服务。

 

 

 

 

 

分布式服务应用会面临哪些问题?

 

(1) 当服务愈来愈多时，服务URL配置管理变得很是困难，F5硬件负载均衡器的单点压力也愈来愈大。

(2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪一个应用要在哪一个应用以前启动，架构师都不能完整的描述应用的架构关系。

(3) 接着，服务的调用量愈来愈大，服务的容量问题就暴露出来，这个服务须要多少机器支撑？何时该加机器？

(4) 服务多了，沟通成本也开始上升，调某个服务失败该找谁？服务的参数都有什么约定？ 

(5) 一个服务有多个业务消费者，如何确保服务质量？

(6) 随着服务的不停升级，总有些意想不到的事发生，好比cache写错了致使内存溢出，故障不可避免，每次核心服务一挂，影响一大片，人心慌慌，如何控制故障的影响面？服务是否能够功能降级？或者资源劣化？ 

 

 

 

JAVA分布式应用技术基础

 

分布式服务下的关键技术：消息队列架构

 

消息对列经过消息对象分解系统耦合性，不一样子系统处理同一个消息。

 

 

 

分布式服务下的关键技术：服务框架架构 

服务框架经过接口分解系统耦合性，不一样子系统经过相同的接口描述进行服务启用

服务框架是一个点对点模型

服务框架面向同构系统

适合：移动应用、互联网应用、外部系统

 

 

 

分布式服务下的关键技术：服务总线架构

 

服务总线同服务框架同样，均是经过接口分解系统耦合性，不一样子系统经过相同的接口描述进行服务启用

服务总线是一个总线式的模型

服务总线面向同构、异构系统

适合：内部系统

 

 

 

分布式架构下系统间交互的5种通讯模式 

 

request/response模式（同步模式）：客户端发起请求一直阻塞到服务端返回请求为止。

Callback（异步模式）：客户端发送一个RPC请求给服务器，服务端处理后再发送一个消息给消息发送端提供的callback端点，此类状况很是合适如下场景：A组件发送RPC请求给B，B处理完成后，须要通知A组件作后续处理。

Future模式：客户端发送完请求后，继续作本身的事情，返回一个包含消息结果的Future对象。客户端须要使用返回结果时，使用Future对象的.get(),若是此时没有结果返回的话，会一直阻塞到有结果返回为止。

Oneway模式：客户端调用完继续执行，无论接收端是否成功。

Reliable模式：为保证通讯可靠，将借助于消息中心来实现消息的可靠送达，请求将作持久化存储，在接收方在线时作送达，并由消息中心保证异常重试。

 

五种通讯模式的实现方式-同步点对点服务模式

 

五种通讯模式的实现方式-异步点对点消息模式1

 

五种通讯模式的实现方式-异步点对点消息模式2

 

五种通讯模式的实现方式-异步广播消息模式

 

 

 

 

 

分布式架构下的服务治理 

服务治理是服务框架/服务总线的核心功能。

 

所谓服务治理，是指服务的提供方和消费方达成一致的约定，保证服务的高质量。

 

服务治理功能能够解决将某些特定流量引入某一批机器，以及限制某些非法消费者的恶意访问，并在提供者处理量达到必定程度是，拒绝接受新的访问。

 

 

 

 

 

Dubbo， 分布式服务框架,淘宝开源的。致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架.

 

基于服务框架Dubbo的服务治理-服务管理 

能够知道你的系统，对外提供了多少服务，能够对服务进行升级、降级、停用、权重调整等操做

能够知道你提供的服务，谁在使用，因业务需求，能够对该消费者实施屏蔽、停用等操做

 

基于服务框架Dubbo的服务治理-服务监控 

能够统计服务的每秒请求数、平均响应时间、调用量、峰值时间等，做为服务集群规划、性能调优的参考指标。 

 

基于服务框架Dubbo的服务治理-服务路由

 

基于服务框架Dubbo的服务治理-服务保护

 

基于服务总线OSB的服务治理-功能介绍