目录:mysql
1、正常状况下发服务演化之路程序员
1.单体应用sql
2.RPC应用数据库
3.分库分表缓存
2、单元化架构
3、最后的总结并发
刚开始工做的菜鸟,总会有各类疑问,刚开始是对 JDK API 的疑问,对 NIO 的疑问,对 JVM 的疑问。微服务
当工做几年后,对服务的可用性,可扩展性也有了新的疑问,什么疑问呢?实际上是老生常谈的话题:服务的扩容问题。
性能
让咱们从最初开始。代理
每一个创业公司基本都是从相似 SSM 和 SSH 这种架构起来的,没什么好讲的,基本每一个程序员都经历过。
当业务愈来愈大,咱们须要对服务进行水平扩容,扩容很简单,只要保证服务是无状态的就能够了,以下图:
当业务又愈来愈大,咱们的服务关系错综复杂,同时,有不少服务访问都是不须要链接 DB 的,只须要链接缓存便可,那么就能够作成分离的,减小 DB 宝贵的链接。以下图:
我相信大部分公司都是在这个阶段。Dubbo 就是为了解决这个问题而生的。
若是你的公司产品很受欢迎,业务继续高速发展,数据愈来愈多,SQL 操做愈来愈慢,那么数据库就会成为瓶颈,那么你确定会想到分库分表,不论经过 ID hash 或者 range 的方式均可以。
以下图:
这下应该没问题了吧。任凭你用户再多,并发再高,我只要无限扩容数据库,无限扩容应用,就能够了。
好,问题来了,分库分表真的就能解决无限扩容吗?
实际上,像上面的架构,并不能
其实,这个问题和 RPC 的问题有点相似:数据库链接过多!!!
一般咱们的 RPC 应用因为是使用中间件访问数据库,应用实际上不知道要访问哪一个数据库,访问数据库的规则由中间件决定,例如 sharding JDBC。
这就致使,这个应用必须和全部的数据库链接,就像咱们上面的架构图同样,一个 RPC 应用须要和 3 个 mysql 链接,若是是 30 个 RPC 应用,每一个 RPC 的数据库链接池大小是8 ,每一个 mysql 须要维护 240 个链接
咱们知道,mysql 默认链接数是 100,最大链接数是 16384
也就是说,假设每一个应用的链接池大小是 8 ,超过 2048 个应用就没法再继续链接了,也就没法继续扩容了。
注意,因为每一个物理库有不少逻辑库,再加上微服务如火如荼, 2048 并无看起来那么大。
也许你说,我能够经过前面加一个 proxy 来解决链接数的问题,实际上,代理的性能也会成为问题
为何?代理的链接数也是不能超过 16384 的,若是并发超过 16384,变成 163840,那么 proxy 也解决不了问题。
怎么办?让咱们再看看架构图:
咱们发现,问题是出在“每一个 RPC 应用都要连全部的库”,致使扩容应用的同时,每一个数据库链接数就要增长。就算增长数据库,也不能解决链接数的问题。
那怎么办呢?
单元化,听起来高大上,一般在一些 XXX 大会上,分享“关于两地三中心”,“三地五中心”,“异地多活”等等牛逼的名词的时候,单元化也会一块儿出现。
这里咱们不讨论那么牛逼的,就只说“数据库链接数过多” 的问题。
实际上,思路很简单:咱们不让应用链接全部的数据库就能够了。
假设咱们根据 range 分红了 10 个库,如今有 10 个应用,咱们让每一个应用只连一个库
当应用增多变成 20个,数据库的链接不够用了,咱们就将 10 个库分红 20 个库
这样,不管你应用扩容到多少个,均可以解决数据库链接数过多的问题。
注意:作这件事的前提是:你必须保证,访问你这个应用的 request 请求的数据库必定是在这个应用的。
换个说法,当用户从 DNS 那里进来的时候,就知道本身要去那个应用了,因此,规则在 DNS 以前就定好了,虽然这有点夸张,但确定在进应用以前就知道要去哪一个库了。
因此,这一般须要一个规则,例如经过用户 ID hash,由配置中心广播 hash 规则。
这样,全部的组件都能保持一致的规则,从而正确的访问到数据库。
以下图:
到这里,咱们终于解决了无限扩容的问题。
本文从单体应用开始,逐步讲述了一个正常后台的演进历程,知道了分库分表并不能解决“无限扩容” 的问题,只有单元化才能解决这问题。
单元化则带来更多的复杂性。可是好处不言而喻。有了单元化,解决了无限扩容的问题,可是咱们尚未考虑单点的问题,即服务的可用性。要知道,咱们这里的数据库都是单点的。
做者:莫那·鲁道
来源:
https://mp.weixin.qq.com/s/8NVqM7W_Zg7-OYRCexbJTw
长按下图二维码,即刻关注【狸猫技术窝】
阿里、京东、美团、字节跳动 顶尖技术专家坐镇
为IT人打造一个 “有温度” 的技术窝!