Java分布式开发不得不知的Dubbo技术详细介绍

1 dubbox简介

随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已没法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。前端

file

  • 单一应用架构
  • 当网站流量很小时,只需一个应用,将全部功能都部署在一块儿,以减小部署节点和成本。
  • 此时,用于简化增删改查工做量的 数据访问框架(ORM) 是关键。
  • 垂直应用架构
  • 当访问量逐渐增大,单一应用增长机器带来的加速度愈来愈小,将应用拆成互不相干的几个应用,以提高效率。
  • 此时,用于加速前端页面开发的 Web框架(MVC) 是关键。
  • 分布式服务架构
  • 当垂直应用愈来愈多,应用之间交互不可避免,将核心业务抽取出来,做为独立的服务,逐渐造成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。
  • 此时,用于提升业务复用及整合的 分布式服务框架(RPC) 是关键。
  • 流动计算架构
  • 当服务愈来愈多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增长一个调度中心基于访问压力实时管理集群容量,提升集群利用率。
  • 此时,用于提升机器利用率的 资源调度和治理中心(SOA) 是关键。

dubbox是dubbo的扩展,主要在dubbo的基础上进行了一下的改进:算法

一、支持REST风格远程调用(HTTP + JSON/XML):基于很是成熟的JBoss RestEasy框架,在dubbo中实现了REST风格(HTTP + JSON/XML)的远程调用,以显著简化企业内部的跨语言交互,同时显著简化企业对外的Open API、无线API甚至AJAX服务端等等的开发。事实上,这个REST调用也使得Dubbo能够对当今特别流行的“微服务”架构提供基础性支持。 另外,REST调用也达到了比较高的性能,在基准测试下,HTTP + JSON与Dubbo 2.x默认的RPC协议(即TCP + Hessian2二进制序列化)之间只有1.5倍左右的差距,详见文档中的基准测试报告。spring

二、支持基于Kryo和FST的Java高效序列化实现:基于当今比较知名的Kryo和FST高性能序列化库,为Dubbo默认的RPC协议添加新的序列化实现,并优化调整了其序列化体系,比较显著的提升了Dubbo RPC的性能,详见文档中的基准测试报告。数据库

三、支持基于Jackson的JSON序列化:基于业界应用最普遍的Jackson序列化库,为Dubbo默认的RPC协议添加新的JSON序列化实现。缓存

四、支持基于嵌入式Tomcat的HTTP remoting体系:基于嵌入式tomcat实现dubbo的HTTP remoting体系(即dubbo-remoting-http),用以逐步取代Dubbo中旧版本的嵌入式Jetty,能够显著的提升REST等的远程调用性能,并将Servlet API的支持从2.5升级到3.1。(注:除了REST,dubbo中的WebServices、Hessian、HTTP Invoker等协议都基于这个HTTP remoting体系)。tomcat

五、升级spring:将dubbo中Spring由2.x升级到目前最经常使用的3.x版本,减小版本冲突带来的麻烦。安全

六、升级ZooKeeper客户端:将dubbo中的zookeeper客户端升级到最新的版本,以修正老版本中包含的bug。服务器

七、支持彻底基于Java代码的Dubbo配置:基于Spring的Java Config,实现彻底无XML的纯Java代码方式来配置dubbo网络

八、调整Demo应用:暂时将dubbo的demo应用调整并改写以主要演示REST功能、Dubbo协议的新序列化方式、基于Java代码的Spring配置等等。九、修正了dubbo的bug 包括配置、序列化、管理界面等等的bug。多线程

2 dubbo架构构成

dubbo运行架构以下图示:

file

  • 节点角色说明:

一、Provider:暴露服务的服务提供方。Consumer: 调用远程服务的服务消费方。

二、Registry:服务注册与发现的注册中心。Monitor: 统计服务的调用次调和调用时间的监控中心。

三、Container: 服务运行容器。

  • 调用关系说明:

一、服务容器负责启动,加载,运行服务提供者。

二、服务提供者在启动时,向注册中心注册本身提供的服务。

三、服务消费者在启动时,向注册中心订阅本身所需的服务。

四、注册中心返回服务提供者地址列表给消费者,若是有变动,注册中心将基于长链接推送变动数据给消费者。

五、服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,若是调用失败,再选另外一台调用。

六、服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。

3 dubbo的特性

(1) 连通性:

注册中心负责服务地址的注册与查找,至关于目录服务,服务提供者和消费者只在启动时与注册中心交互,注册中心不转发请求,压力较小监控中心负责统计各服务调用次数,调用时间等,统计先在内存汇总后每分钟一次发送到监控中心服务器,并以报表展现服务提供者向注册中心注册其提供的服务,并汇报调用时间到监控中心,此时间不包含网络开销服务消费者向注册中心获取服务提供者地址列表,并根据负载算法直接调用提供者,同时汇报调用时间到监控中心,此时间包含网络开销注册中心,服务提供者,服务消费者三者之间均为长链接,监控中心除外注册中心经过长链接感知服务提供者的存在,服务提供者宕机,注册中心将当即推送事件通知消费者注册中心和监控中心所有宕机,不影响已运行的提供者和消费者,消费者在本地缓存了提供者列表

注册中心和监控中心都是可选的,服务消费者能够直连服务提供者

(2) 健状性:

监控中心宕掉不影响使用,只是丢失部分采样数据数据库宕掉后,注册中心仍能经过缓存提供服务列表查询,但不能注册新服务注册中心对等集群,任意一台宕掉后,将自动切换到另外一台注册中心所有宕掉后,服务提供者和服务消费者仍能经过本地缓存通信服务提供者无状态,任意一台宕掉后,不影响使用服务提供者所有宕掉后,服务消费者应用将没法使用,并没有限次重连等待服务提供者恢复

(3) 伸缩性:

注册中心为对等集群,可动态增长机器部署实例,全部客户端将自动发现新的注册中心

服务提供者无状态,可动态增长机器部署实例,注册中心将推送新的服务提供者信息给消费者

(4) 升级性:

当服务集群规模进一步扩大,带动IT治理结构进一步升级,须要实现动态部署,进行流动计算,现有分布式服务架构不会带来阻力:

file

4 dubbo的调用方式

  • 异步调用

基于NIO的非阻塞实现并行调用,客户端不须要启动多线程便可完成并行调用多个远程服务,相对多线程开销较小。

file

  • 本地调用

本地调用,使用了Injvm协议,是一个伪协议,它不开启端口,不发起远程调用,只在JVM内直接关联,但执行Dubbo的Filter链。

file

5 dubbo支持的注册中心

Dubbo提供的注册中心有以下几种类型可供选择:

  • Multicast注册中心
  • Zookeeper注册中心
  • Redis注册中心
  • Simple注册中心

ZooKeeper是一个开源的分布式服务框架,它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置管理等,它支持Standalone模式和分布式模式,在分布式模式下,可以为分布式应用提供高性能和可靠地协调服务,并且使用ZooKeeper能够大大简化分布式协调服务的实现,为开发分布式应用极大地下降了成本。

ZooKeeper整体架构

file

ZooKeeper集群由一组Server节点组成,这一组Server节点中存在一个角色为Leader的节点,其余节点都为Follower。当客户端Client链接到ZooKeeper集群,而且执行写请求时,这些请求会被发送到Leader节点上,而后Leader节点上数据变动会同步到集群中其余的Follower节点。

6 dubbo支持的远程通讯协议

远程通讯须要指定通讯双方所约定的协议,在保证通讯双方理解协议语义的基础上,还要保证高效、稳定的消息传输。Dubbo继承了当前主流的网络通讯框架,主要包括以下几个:

  • Mina
  • Netty
  • Grizzly

file

7 dubbo支持的远程调用协议

Dubbo支持多种协议,以下所示:

  • Dubbo协议
  • Hessian协议
  • HTTP协议
  • RMI协议
  • WebService协议
  • Thrift协议
  • Memcached协议
  • Redis协议

file

在通讯过程当中,不一样的服务等级通常对应着不一样的服务质量,那么选择合适的协议即是一件很是重要的事情。你能够根据你应用的建立来选择。例如,使用RMI协议,通常会受到防火墙的限制,因此对于外部与内部进行通讯的场景,就不要使用RMI协议,而是基于HTTP协议或者Hessian协议。

8 dubbo集群容错和负载均衡

一、集群容错 在集群调用失败时,Dubbo提供了多种容错方案,缺省为failover重试。

  • Failover Cluster
    失败自动切换,当出现失败,重试其它服务器。(缺省)
    一般用于读操做,但重试会带来更长延迟。
    可经过retries=“2”来设置重试次数(不含第一次)。
  • Failfast Cluster
    快速失败,只发起一次调用,失败当即报错。
    一般用于非幂等性的写操做,好比新增记录。
  • Failsafe Cluster
    失败安全,出现异常时,直接忽略。
    一般用于写入审计日志等操做。
  • Failback Cluster
    失败自动恢复,后台记录失败请求,定时重发。
    一般用于消息通知操做。
  • Forking Cluster
    并行调用多个服务器,只要一个成功即返回。
    一般用于实时性要求较高的读操做,但须要浪费更多服务资源。
    可经过forks=“2”来设置最大并行数。
  • Broadcast Cluster
    广播调用全部提供者,逐个调用,任意一台报错则报错。(2.1.0开始支持)
    一般用于通知全部提供者更新缓存或日志等本地资源信息。

二、负载均衡

  • Random LoadBalance随机,按权重设置随机几率。
    在一个截面上碰撞的几率高,但调用量越大分布越均匀,并且按几率使用权重后也比较均匀,有利于动态调整提供者权重。
  • RoundRobin LoadBalance 轮循,按公约后的权重设置轮循比率。
    存在慢的提供者累积请求问题,好比:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,长此以往,全部请求都卡在调到第二台上。
  • LeastActive LoadBalance 最少活跃调用数,相同活跃数的随机,活跃数指调用先后计数差。
    使慢的提供者收到更少请求,由于越慢的提供者的调用先后计数差会越大。
  • ConsistentHash LoadBalance 一致性Hash,相同参数的请求老是发到同一提供者。
    当某一台提供者挂时,本来发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引发剧烈变更。

配置如:

file

9 dubbo源代码结构

file

Dubbo以包结构来组织各个模块,各个模块及其关系,如图所示:

file

  • dubbo-common 公共逻辑模块,包括Util类和通用模型。
  • dubbo-remoting 远程通信模块,至关于Dubbo协议的实现,若是RPC用RMI协议则不须要使用此包。
  • dubbo-rpc 远程调用模块,抽象各类协议,以及动态代理,只包含一对一的调用,不关心集群的管理。
  • dubbo-cluster 集群模块,将多个服务提供方假装为一个提供方,包括:负载均衡、容错、路由等,集群的地址列表能够是静态配置的,也能够是由注册中心下发。
  • dubbo-registry 注册中心模块,基于注册中心下发地址的集群方式,以及对各类注册中心的抽象。
  • dubbo-monitor 监控模块,统计服务调用次数,调用时间的,调用链跟踪的服务。
  • dubbo-config 配置模块,是Dubbo对外的API,用户经过Config使用Dubbo,隐藏Dubbo全部细节。
  • dubbo-Container 容器模块,是一个Standalone的容器,以简单的Main加载Spring启动,由于服务一般不须要Tomcat/JBoss等Web容器的特性,不必用Web容器去加载服务。

10 Dubbo内核实现之SPI简单介绍

Dubbo采用微内核+插件体系,使得设计优雅,扩展性强。那所谓的微内核+插件体系是如何实现的呢!即咱们定义了服务接口标准,让厂商去实现(若是不了解spi的请谷歌百度下), jdk经过ServiceLoader类实现spi机制的服务查找功能。

JDK实现spi服务查找: ServiceLoader

首先定义下示例接口

file

A厂商提供实现

file

com.a.example.SpiAImpl #厂商A的spi实现全路径类名

B厂商提供实现

file

com.b.example.SpiBImpl #厂商B的spi实现全路径类名

ServiceLoader.load(Spi.class)读取厂商A、B提供jar包中的文件,ServiceLoader实现了Iterable接口可经过while for循环语句遍历出全部实现。

一个接口多种实现,就如策略模式同样提供了策略的实现,可是没有提供策略的选择, 使用方能够根据isSupport方法根据业务传入厂商名来选择具体的厂商。

file

定义了@SPI注解

file

具体实现的类有:

file

因此说:Remoting实现是Dubbo协议的实现.

如何一块儿学习,有没有免费资料?

file

本文由博客一文多发平台 OpenWrite 发布!

相关文章
相关标签/搜索