java分布式系统参考

时间 2019-12-05 标签 java 分布式系统参考

做者：知乎用户
连接：https://www.zhihu.com/question/22764869/answer/31277656
来源：知乎
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。

首先推荐4本书html

大型分布式网站架构设计与实践linux

http://item.jd.com/11529266.htmlweb

大型网站技术架构：核心原理与案例分析sql

http://item.jd.com/11322972.html数据库

大型网站系统与Java中间件实践apache

http://item.jd.com/11449803.html后端

分布式Java应用：基础与实践缓存

http://item.jd.com/10144196.html服务器

貌似都是4位阿里人写的，一本一本的看吧，绝对会加强你的内功。下面是本人的一个简要小结，供参考。网络

&lt;img src="https://pic2.zhimg.com/e497675016de882ed260d7f8e1d0a24d_b.jpg" data-rawwidth="515" data-rawheight="28" class="origin_image zh-lightbox-thumb" width="515" data-original="https://pic2.zhimg.com/e497675016de882ed260d7f8e1d0a24d_r.jpg"&gt;

分布式架构的演进

系统架构演化历程-初始阶段架构
&lt;img data-rawheight="367" data-rawwidth="516" src="https://pic4.zhimg.com/13bd5a6612620fdf51c8987ab3eb1273_b.jpg" class="origin_image zh-lightbox-thumb" width="516" data-original="https://pic4.zhimg.com/13bd5a6612620fdf51c8987ab3eb1273_r.jpg"&gt;
初始阶段的小型系统应用程序、数据库、文件等全部的资源都在一台服务器上通俗称为LAMP

特征：
应用程序、数据库、文件等全部的资源都在一台服务器上。

描述：
一般服务器操做系统使用linux，应用程序使用PHP开发，而后部署在Apache上，数据库使用Mysql，聚集各类免费开源软件以及一台廉价服务器就能够开始系统的发展之路了。

系统架构演化历程-应用服务和数据服务分离
&lt;img data-rawheight="408" data-rawwidth="510" src="https://pic2.zhimg.com/c2ff4e51eec15231b2f69fe6a4038239_b.jpg" class="origin_image zh-lightbox-thumb" width="510" data-original="https://pic2.zhimg.com/c2ff4e51eec15231b2f69fe6a4038239_r.jpg"&gt;
好景不长，发现随着系统访问量的再度增长，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增长一台webserver

特征：
应用程序、数据库、文件分别部署在独立的资源上。

描述：
数据量增长，单台服务器性能及存储空间不足，须要将应用和数据分离，并发处理能力和数据存储空间获得了很大改善。

系统架构演化历程-使用缓存改善性能
&lt;img data-rawheight="525" data-rawwidth="526" src="https://pic4.zhimg.com/7f5890aefa3a065ea91baa33e928d59b_b.jpg" class="origin_image zh-lightbox-thumb" width="526" data-original="https://pic4.zhimg.com/7f5890aefa3a065ea91baa33e928d59b_r.jpg"&gt;
特征：
数据库中访问较集中的一小部分数据存储在缓存服务器中，减小数据库的访问次数，下降数据库的访问压力。

描述：
系统访问特色遵循二八定律，即80%的业务访问集中在20%的数据上。
缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的状况。

系统架构演化历程-使用应用服务器集群
&lt;img data-rawheight="548" data-rawwidth="576" src="https://pic4.zhimg.com/66b50d0767750b0ff30d00d13a2a1963_b.jpg" class="origin_image zh-lightbox-thumb" width="576" data-original="https://pic4.zhimg.com/66b50d0767750b0ff30d00d13a2a1963_r.jpg"&gt;
在作完分库分表这些工做后，数据库上的压力已经降到比较低了，又开始过着天天看着访问量暴增的幸福生活了，忽然有一天，发现系统的访问又开始有变慢的趋势了，这个时候首先查看数据库，压力一切正常，以后查看webserver，发现apache阻塞了不少的请求，而应用服务器对每一个请求也是比较快的，看来是请求数过高致使须要排队等待，响应速度变慢

特征：
多台服务器经过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。

描述：
使用集群是系统解决高并发、海量数据问题的经常使用手段。经过向集群中追加资源，提高系统的并发处理能力，使得服务器的负载压力再也不成为整个系统的瓶颈。

系统架构演化历程-数据库读写分离
&lt;img data-rawheight="549" data-rawwidth="568" src="https://pic2.zhimg.com/e8cb08ede220e1f41459374e3ef72f85_b.jpg" class="origin_image zh-lightbox-thumb" width="568" data-original="https://pic2.zhimg.com/e8cb08ede220e1f41459374e3ef72f85_r.jpg"&gt;
享受了一段时间的系统访问量高速增加的幸福后，发现系统又开始变慢了，此次又是什么情况呢，通过查找，发现数据库写入、更新的这些操做的部分数据库链接的资源竞争很是激烈，致使了系统变慢

特征：
多台服务器经过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。

描述：
使用集群是系统解决高并发、海量数据问题的经常使用手段。经过向集群中追加资源，使得服务器的负载压力不在成为整个系统的瓶颈。

系统架构演化历程-反向代理和CDN加速
&lt;img data-rawheight="520" data-rawwidth="711" src="https://pic2.zhimg.com/a2db8db8b2d7500adf6135c76d6323f9_b.jpg" class="origin_image zh-lightbox-thumb" width="711" data-original="https://pic2.zhimg.com/a2db8db8b2d7500adf6135c76d6323f9_r.jpg"&gt;
特征：
采用CDN和反向代理加快系统的访问速度。

描述：
为了应付复杂的网络环境和不一样地区用户的访问，经过CDN和反向代理加快用户访问的速度，同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。

系统架构演化历程-分布式文件系统和分布式数据库
&lt;img data-rawheight="526" data-rawwidth="920" src="https://pic1.zhimg.com/ea091b2c553a7771695a4c707b091668_b.jpg" class="origin_image zh-lightbox-thumb" width="920" data-original="https://pic1.zhimg.com/ea091b2c553a7771695a4c707b091668_r.jpg"&gt;
随着系统的不断运行，数据量开始大幅度增加，这个时候发现分库后查询仍然会有些慢，因而按照分库的思想开始作分表的工做

特征：
数据库采用分布式数据库，文件系统采用分布式文件系统。

描述：
任何强大的单一服务器都知足不了大型系统持续增加的业务需求，数据库读写分离随着业务的发展最终也将没法知足需求，须要使用分布式数据库及分布式文件系统来支撑。
分布式数据库是系统数据库拆分的最后方法，只有在单表数据规模很是庞大的时候才使用，更经常使用的数据库拆分手段是业务分库，将不一样的业务数据库部署在不一样的物理服务器上。

系统架构演化历程-使用NoSQL和搜索引擎
&lt;img data-rawheight="518" data-rawwidth="936" src="https://pic1.zhimg.com/7e25f96d31da26661c078b847c8acc44_b.jpg" class="origin_image zh-lightbox-thumb" width="936" data-original="https://pic1.zhimg.com/7e25f96d31da26661c078b847c8acc44_r.jpg"&gt;
特征：
系统引入NoSQL数据库及搜索引擎。

描述：
随着业务愈来愈复杂，对数据存储和检索的需求也愈来愈复杂，系统须要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。应用服务器经过统一数据访问模块访问各类数据，减轻应用程序管理诸多数据源的麻烦。

系统架构演化历程-业务拆分
&lt;img data-rawheight="520" data-rawwidth="939" src="https://pic2.zhimg.com/51faaff90df43279c82ffd6a6b587135_b.jpg" class="origin_image zh-lightbox-thumb" width="939" data-original="https://pic2.zhimg.com/51faaff90df43279c82ffd6a6b587135_r.jpg"&gt;
特征：
系统上按照业务进行拆分改造，应用服务器按照业务区分进行分别部署。

描述：
为了应对日益复杂的业务场景，一般使用分而治之的手段将整个系统业务分红不一样的产品线，应用之间经过超连接创建关系，也能够经过消息队列进行数据分发，固然更多的仍是经过访问同一个数据存储系统来构成一个关联的完整系统。

纵向拆分：
将一个大应用拆分为多个小应用，若是新业务较为独立，那么就直接将其设计部署为一个独立的Web应用系统

纵向拆分相对较为简单，经过梳理业务，将较少相关的业务剥离便可。

横向拆分：将复用的业务拆分出来，独立部署为分布式服务，新增业务只须要调用这些分布式服务

横向拆分须要识别可复用的业务，设计服务接口，规范服务依赖关系。

系统架构演化历程-分布式服务
&lt;img data-rawheight="507" data-rawwidth="960" src="https://pic3.zhimg.com/9ef9ad51a11b36cacb2f408ceb928c82_b.jpg" class="origin_image zh-lightbox-thumb" width="960" data-original="https://pic3.zhimg.com/9ef9ad51a11b36cacb2f408ceb928c82_r.jpg"&gt;
特征：
公共的应用模块被提取出来，部署在分布式服务器上供应用服务器调用。

描述：
随着业务越拆越小，应用系统总体复杂程度呈指数级上升，因为全部应用要和全部数据库系统链接，最终致使数据库链接资源不足，拒绝服务。

Q：分布式服务应用会面临哪些问题？

A：
(1) 当服务愈来愈多时，服务URL配置管理变得很是困难，F5硬件负载均衡器的单点压力也愈来愈大。
(2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪一个应用要在哪一个应用以前启动，架构师都不能完整的描述应用的架构关系。
(3) 接着，服务的调用量愈来愈大，服务的容量问题就暴露出来，这个服务须要多少机器支撑？何时该加机器？
(4) 服务多了，沟通成本也开始上升，调某个服务失败该找谁？服务的参数都有什么约定？
(5) 一个服务有多个业务消费者，如何确保服务质量？
(6) 随着服务的不停升级，总有些意想不到的事发生，好比cache写错了致使内存溢出，故障不可避免，每次核心服务一挂，影响一大片，人心慌慌，如何控制故障的影响面？服务是否能够功能降级？或者资源劣化？

Java分布式应用技术基础

&lt;img data-rawheight="545" data-rawwidth="700" src="https://pic2.zhimg.com/b7cdb7ac16e2719f5fefe9503f85ad69_b.jpg" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic2.zhimg.com/b7cdb7ac16e2719f5fefe9503f85ad69_r.jpg"&gt;

分布式服务下的关键技术：消息队列架构

&lt;img data-rawheight="318" data-rawwidth="732" src="https://pic1.zhimg.com/9236baf21c201ec37b5cc089b8e09b3c_b.jpg" class="origin_image zh-lightbox-thumb" width="732" data-original="https://pic1.zhimg.com/9236baf21c201ec37b5cc089b8e09b3c_r.jpg"&gt;

消息对列经过消息对象分解系统耦合性，不一样子系统处理同一个消息

分布式服务下的关键技术：消息队列原理

&lt;img data-rawheight="332" data-rawwidth="847" src="https://pic3.zhimg.com/24eac9966e7bb9c38ffd44952194727a_b.jpg" class="origin_image zh-lightbox-thumb" width="847" data-original="https://pic3.zhimg.com/24eac9966e7bb9c38ffd44952194727a_r.jpg"&gt;

分布式服务下的关键技术：服务框架架构
&lt;img data-rawheight="499" data-rawwidth="918" src="https://pic4.zhimg.com/4aec5baab1575247104347dd5e3e2f07_b.jpg" class="origin_image zh-lightbox-thumb" width="918" data-original="https://pic4.zhimg.com/4aec5baab1575247104347dd5e3e2f07_r.jpg"&gt;
服务框架经过接口分解系统耦合性，不一样子系统经过相同的接口描述进行服务启用
服务框架是一个点对点模型
服务框架面向同构系统
适合：移动应用、互联网应用、外部系统

分布式服务下的关键技术：服务框架原理
&lt;img data-rawheight="507" data-rawwidth="825" src="https://pic1.zhimg.com/2b9eb315bf1edab5f1adfd66ce8e40f4_b.jpg" class="origin_image zh-lightbox-thumb" width="825" data-original="https://pic1.zhimg.com/2b9eb315bf1edab5f1adfd66ce8e40f4_r.jpg"&gt;

分布式服务下的关键技术：服务总线架构

&lt;img data-rawheight="344" data-rawwidth="430" src="https://pic1.zhimg.com/6e28f7b7020b9968ec02ae8f680e81a8_b.jpg" class="origin_image zh-lightbox-thumb" width="430" data-original="https://pic1.zhimg.com/6e28f7b7020b9968ec02ae8f680e81a8_r.jpg"&gt;

服务总线同服务框架同样，均是经过接口分解系统耦合性，不一样子系统经过相同的接口描述进行服务启用
服务总线是一个总线式的模型
服务总线面向同构、异构系统
适合：内部系统

分布式服务下的关键技术：服务总线原理

&lt;img data-rawheight="349" data-rawwidth="428" src="https://pic4.zhimg.com/fa80a813b449147587541aca676bf6af_b.jpg" class="origin_image zh-lightbox-thumb" width="428" data-original="https://pic4.zhimg.com/fa80a813b449147587541aca676bf6af_r.jpg"&gt;

分布式架构下系统间交互的5种通讯模式

request/response模式（同步模式）：客户端发起请求一直阻塞到服务端返回请求为止。

Callback（异步模式）：客户端发送一个RPC请求给服务器，服务端处理后再发送一个消息给消息发送端提供的callback端点，此类状况很是合适如下场景：A组件发送RPC请求给B，B处理完成后，须要通知A组件作后续处理。

Future模式：客户端发送完请求后，继续作本身的事情，返回一个包含消息结果的Future对象。客户端须要使用返回结果时，使用Future对象的.get(),若是此时没有结果返回的话，会一直阻塞到有结果返回为止。

Oneway模式：客户端调用完继续执行，无论接收端是否成功。

Reliable模式：为保证通讯可靠，将借助于消息中心来实现消息的可靠送达，请求将作持久化存储，在接收方在线时作送达，并由消息中心保证异常重试。

五种通讯模式的实现方式-同步点对点服务模式

&lt;img data-rawheight="496" data-rawwidth="653" src="https://pic3.zhimg.com/f011bc4e6c08825bbc2b8dabd28ae0aa_b.jpg" class="origin_image zh-lightbox-thumb" width="653" data-original="https://pic3.zhimg.com/f011bc4e6c08825bbc2b8dabd28ae0aa_r.jpg"&gt;

五种通讯模式的实现方式-异步点对点消息模式1

&lt;img data-rawheight="503" data-rawwidth="638" src="https://pic1.zhimg.com/94df9d25af1fff1987e5f9db7fcfe534_b.jpg" class="origin_image zh-lightbox-thumb" width="638" data-original="https://pic1.zhimg.com/94df9d25af1fff1987e5f9db7fcfe534_r.jpg"&gt;

五种通讯模式的实现方式-异步点对点消息模式2

&lt;img data-rawheight="509" data-rawwidth="864" src="https://pic2.zhimg.com/312b8ea9e93da3fdf610428f8d613369_b.jpg" class="origin_image zh-lightbox-thumb" width="864" data-original="https://pic2.zhimg.com/312b8ea9e93da3fdf610428f8d613369_r.jpg"&gt;

五种通讯模式的实现方式-异步广播消息模式

&lt;img data-rawheight="485" data-rawwidth="778" src="https://pic2.zhimg.com/af5cf474d7574ba087a2e5c05e7bbba5_b.jpg" class="origin_image zh-lightbox-thumb" width="778" data-original="https://pic2.zhimg.com/af5cf474d7574ba087a2e5c05e7bbba5_r.jpg"&gt;

分布式架构下的服务治理
服务治理是服务框架/服务总线的核心功能。所谓服务治理，是指服务的提供方和消费方达成一致的约定，保证服务的高质量。服务治理功能能够解决将某些特定流量引入某一批机器，以及限制某些非法消费者的恶意访问，并在提供者处理量达到必定程度是，拒绝接受新的访问。

基于服务框架Dubbo的服务治理-服务管理
道你的系统，对外提供了多少服务，能够对服务进行升级、降级、停用、权重调整等操做
能够知道你提供的服务，谁在使用，因业务需求，能够对该消费者实施屏蔽、停用等操做

基于服务框架Dubbo的服务治理-服务监控

&lt;img data-rawheight="316" data-rawwidth="950" src="https://pic1.zhimg.com/6920ec97cc12e220e234c0423ba52b7c_b.jpg" class="origin_image zh-lightbox-thumb" width="950" data-original="https://pic1.zhimg.com/6920ec97cc12e220e234c0423ba52b7c_r.jpg"&gt;
能够统计服务的每秒请求数、平均响应时间、调用量、峰值时间等，做为服务集群规划、性能调优的参考指标。

基于服务框架Dubbo的服务治理-服务路由

&lt;img data-rawheight="494" data-rawwidth="485" src="https://pic3.zhimg.com/053c0060ad2ee373608bee75fb550486_b.jpg" class="origin_image zh-lightbox-thumb" width="485" data-original="https://pic3.zhimg.com/053c0060ad2ee373608bee75fb550486_r.jpg"&gt;

基于服务框架Dubbo的服务治理-服务保护

&lt;img data-rawheight="474" data-rawwidth="538" src="https://pic2.zhimg.com/67bd8f13a79c16ce80ae247e98ac5bd5_b.jpg" class="origin_image zh-lightbox-thumb" width="538" data-original="https://pic2.zhimg.com/67bd8f13a79c16ce80ae247e98ac5bd5_r.jpg"&gt;

基于服务总线OSB的服务治理-功能介绍

&lt;img data-rawheight="461" data-rawwidth="653" src="https://pic1.zhimg.com/9f5dd3e20262563604076397530beb60_b.jpg" class="origin_image zh-lightbox-thumb" width="653" data-original="https://pic1.zhimg.com/9f5dd3e20262563604076397530beb60_r.jpg"&gt;

基于服务总线OSB的服务治理

&lt;img data-rawheight="559" data-rawwidth="947" src="https://pic2.zhimg.com/b34ab3a4c21e813e4b0dfba15414b615_b.jpg" class="origin_image zh-lightbox-thumb" width="947" data-original="https://pic2.zhimg.com/b34ab3a4c21e813e4b0dfba15414b615_r.jpg"&gt;

Q：Dubbo究竟是神马？
A：

淘宝开源的高性能和透明化的RPC远程调用服务框架
SOA服务治理方案

Q：Dubbo原理是？
A：&lt;img data-rawheight="614" data-rawwidth="938" src="https://pic2.zhimg.com/9604489e2de6b2e67073434f9fd9add5_b.jpg" class="origin_image zh-lightbox-thumb" width="938" data-original="https://pic2.zhimg.com/9604489e2de6b2e67073434f9fd9add5_r.jpg"&gt;

-结束-