数据库分库分表

  1. 对数据库进行分库分表的缘由
    超大容量:
    数据表是超大表,数据库处理能力达到极限;
    数据库包含多个超大表。
    性能问题:
    单一服务器性能有限
    升级扩展:
    单一主库没法灵活地进行升级和扩展,没法知足业务快速发展的需求
    全部业务数据都放在同一个库中,存在单点故障风险。redis

  2. 数据库拆分
    将表按照业务拆分到不一样的数据库服务器上,同时针对大表进行分表处理,从而解决单一数据库和数据表过大及IO服务链接数和IO读写上的瓶颈。
    常见的拆分方法有:垂直拆分、水平拆分、垂直水平拆分算法

  3. 垂直拆分
    垂直分库:根据业务耦合性,将关联度低的不一样表存储在不一样的数据库。作法与大系统拆分为多个小系统相似,按业务分类进行独立划分。与"微服务治理"的作法类似,每一个微服务使用单独的一个数据库。
    垂直分表:基于数据库中的"列"进行,某个表字段较多,能够新建一张扩展表,将不常常用或字段长度较大的字段拆分出去到扩展表中。在字段不少的状况下(例如一个大表有100多个字段),经过"大表拆小表",更便于开发与维护,也能避免跨页问题,MySQL底层是经过数据页存储的,一条记录占用空间过大会致使跨页,形成额外的性能开销。另外数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率更高,减小了磁盘IO,从而提高了数据库性能。
    优势:(1)解决业务系统层面的耦合。(2)业务清晰与微服务的治理相似,也能对不一样业务的数据进行分级管理、维护、监控、扩展等。(3)高并发场景下,垂直切分必定程度的提高IO、数据库链接数、单机硬件资源的瓶颈。
    缺点:(1)部分表没法join,只能经过接口聚合方式解决,提高了开发的复杂度。(2)分布式事务处理复杂。(3)依然存在单表数据量过大的问题(须要水平切分)。数据库

  4. 水平拆分
    水平切分分为库内分表和分库分表,是根据表内数据内在的逻辑关系,将同一个表按不一样的条件分散到多个数据库或多个表中,每一个表中只包含一部分数据,从而使得单个表的数据量变小,达到分布式的效果。
    优势:(1)不存在单库数据量过大、高并发的性能瓶颈,提高系统稳定性和负载能力.(2)应用端改造较小,不须要拆分业务模块。
    缺点:(1)跨分片的事务一致性难以保证.(2)跨库的join关联查询性能较差.(3)数据屡次扩展难度和维护量极大。
    水平切分后同一张表会出如今多个数据库/表中,每一个库/表的内容不一样。几种典型的数据分片规则为:
    1)根据数值范围
    按照时间区间或ID区间来切分。例如:按日期将不一样月甚至是日的数据分散到不一样的库中;将userId为1~9999的记录分到第一个库,10000~20000的分到第二个库,以此类推。某种意义上,某些系统中使用的"冷热数据分离",将一些使用较少的历史数据迁移到其余库中,业务功能上只提供热点数据的查询,也是相似的实践。
    这样的优势在于:(1)单表大小可控。(2)自然便于水平扩展,后期若是想对整个分片集群扩容时,只须要添加节点便可,无需对其余分片的数据进行迁移。(3)使用分片字段进行范围查找时,连续分片可快速定位分片进行快速查询,有效避免跨分片查询的问题。
    缺点:热点数据成为性能瓶颈。连续分片可能存在数据热点,例如按时间字段分片,有些分片存储最近时间段内的数据,可能会被频繁的读写,而有些分片存储的历史数据,则不多被查询。
    2)根据数值取模
    通常采用hash取模mod的切分方式,例如:将 Customer 表根据 cusno 字段切分到4个库中,余数为0的放到第一个库,余数为1的放到第二个库,以此类推。这样同一个用户的数据会分散到同一个库中,若是查询条件带有cusno字段,则可明肯定位到相应库去查询。
    优势:数据分片相对比较均匀,不容易出现热点和并发访问的瓶颈
    缺点:(1)后期分片集群扩容时,须要迁移旧的数据(使用一致性hash算法能较好的避免这个问题)(2)容易面临跨分片查询的复杂问题。好比上例中,若是频繁用到的查询条件中不带cusno时,将会致使没法定位数据库,从而须要同时向4个库发起查询,再在内存中合并数据,取最小集返回给应用,分库反而成为拖累。服务器

  5. 分库分表带来的问题并发

  6. 进行分表
    通过计算,将数据分到6个表中,保证在5~6年内不须要继续进行分表。
    分表后使用静态常量定义查询、插入等SQL语句,表名使用replace()方法进行替换
    设计开关,将开关状态存入redis中,经过改变状态控制读取旧表或者新表分布式

相关文章
相关标签/搜索