图文解释 读写分离、垂直拆分、水平拆分、分库分表

1. 前言

相信你常常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼,那么今天就来把这几个数据库经常使用术语搞清楚,同时也记录一下。数据库

2. 读写分离

这个相对比较好理解一些,就是将数据库分为主从库,一个主库(Master)用于写数据,多个从库(Slaver)进行轮询读取数据的过程,主从库之间经过某种通信机制进行数据的同步,是一种常见的数据库架构。下面这张图就展现了 “一主二从” 的结构:segmentfault

2.1 为何要读写分离

大多数互联网数据操做每每都是读多写少,随着数据的增加,数据库的“读”会首先成为瓶颈。若是咱们但愿能线性地提高数据库的读性能和写性能,就须要让读写尽量的不相互影响,各自为政。在使用读写分离以前咱们应该考虑使用缓存能不能解决问题。而后再考虑对数据库按照 “读” 和 “写” 进行分组。读写分离意味着将一体的结构的进行分散,在数据量大、高并发的情景中要考虑如下这些问题缓存

  1. 如何保证 Master 的高可用,故障转移,熔断限流等。
  2. 读写操做的区分规则,代码层面如何处理好读命令和写命令,尽可能无感知无业务入侵。
  3. 数据一致性的容忍度。虽然是数据同步,可是因为网络的不肯定性这仍然是一个不可忽视的问题。

3. 分库

数据库垂直拆分、数据库水平拆分 统称 分库。是指按照特定的条条件和维度,将同一个数据库中的数据拆分到多个数据库(主机)上面以达到分散单库(主机)负载的效果。这样咱们变相地下降了数据集的大小,以空间换时间来提高性能。网络

3.1 数据库垂直拆分

数据库垂直拆分 指的是按照业务对数据库中的表进行分组,同组的放到一个新的数据库(逻辑上,并不是实例)中。须要从实际业务出发将大业务分割成小业务。好比商城的整个业务中的 用户相关表,订单相关表,物流相关表 各自独立分类造成 用户系统数据库,订单系统数据库,物流系统数据库 以下图:架构

这样带来了一些好处: (a)业务清晰,职责单一 (b)易维护,易扩展 (c)数据服务化 。 同时也有一些负面的做用:(a)提升了整个应用的复杂度,并且会造成跨库事务 (b)引起 “木桶效应”,任何一个短板有可能影响整个系统 (c)部分表关系不能 join 只能经过服务相互调用来维系。甚至因为网络问题引起数据不一致。并发

在须要进行分库的状况下,一般可优先考虑垂直拆分。分布式

3.2 数据库水平拆分

在数据库垂直拆分后遇到单机数据库性能瓶颈以后,就能够考虑数据库水平拆分了。 之因此先垂直拆分才水平拆分,是由于垂直拆分后数据业务清晰并且单一,更加方便指定水平的标准。好比咱们对商城业务垂直拆分后的 用户系统 进行水平拆分就比对整个商城业务进行水平拆分好找维度,咱们能够根据用户注册时间的区间、用户的区域或者用户 ID 的范围、 hash 等条件,而后关联相关表的记录将数据进行拆分,若是放在整个商城业务上你是以用户为准仍是以订单为准都不太好考虑。高并发

咱们按照每100万为区间对用户系统水平拆分以下:性能

这种拆分的好处在于: (a)单个库的容量可控 (b)单挑记录保证了数据完整性 (c)数据关系能够经过 join 维持 (d) 避免了跨库事务 ;缺点一样存在:(a)拆分规则对编码有必定的影响 (b)不一样业务的分区交互须要统筹设计优化

4. 分表

分表也分为 数据表垂直拆分数据表水平拆分

4.1 数据表垂直拆分

数据表垂直拆分就是纵向地把表中的列分红多个表,把表从“宽”变“窄”。通常遵循如下几个点进行拆分:

  • 冷热分离,把经常使用的列放在一个表,不经常使用的放在一个表。
  • 大字段列独立存放
  • 关联关系的列紧密的放在一块儿

咱们把用户表中经常使用的和不经常使用的并且大字段分离成两张表:

4.2 数据表的水平拆分

表的水平拆分感受跟库的水平拆分思想上都是同样的,只不过粒度不一样。表结构维持不变。也就是说拆分后数据集的并集等于拆分前的数据集。理解了 3.2 章节 以后这个就没有什么可说的了。

5. 总结

这里简单阐述了几个数据库优化概念,在实际操做中每每会组合使用。咱们在实际操做以前要作好数据量的预估,这样可以根据预测将来数据的增量来进行选型。业务数据增加较小,经常使用于表的拆分。增加特别大达到上万级别则能够选择分库,好比一些资金积分流水,历史记录之类的。有些时候并非拆分完就万事大吉了,好比咱们按照地区拆分后,A地区业务增加很快业绩很好,而B地区推广不力竞争激烈业绩萧条,形成了数据倾斜。也会影响分库分表的指望效果。这须要创建长效的监控预测机制来应对,甚至根据实际状况及时调整策略。数据拆分还面临分布式的不少问题,分布式事务,高可用,数据一致性,全局惟一性都是应该考虑的问题。若是你有什么问题能够经过公众号:Felordcn 与我交流。

关注公众号:Felordcn 获取更多资讯

我的博客:https://felord.cn

相关文章
相关标签/搜索