数据库分库分表

1. 对数据库进行分库分表的缘由
   超大容量：
   数据表是超大表，数据库处理能力达到极限；
   数据库包含多个超大表。
   性能问题：
   单一服务器性能有限
   升级扩展：
   单一主库没法灵活地进行升级和扩展，没法知足业务快速发展的需求
   全部业务数据都放在同一个库中，存在单点故障风险。

2. 数据库拆分
   将表按照业务拆分到不一样的数据库服务器上，同时针对大表进行分表处理，从而解决单一数据库和数据表过大及IO服务链接数和IO读写上的瓶颈。
   常见的拆分方法有：垂直拆分、水平拆分、垂直水平拆分

3. 垂直拆分
   垂直分库：根据业务耦合性，将关联度低的不一样表存储在不一样的数据库。作法与大系统拆分为多个小系统相似，按业务分类进行独立划分。与"微服务治理"的作法类似，每一个微服务使用单独的一个数据库。
   垂直分表：基于数据库中的"列"进行，某个表字段较多，能够新建一张扩展表，将不常常用或字段长度较大的字段拆分出去到扩展表中。在字段不少的状况下（例如一个大表有100多个字段），经过"大表拆小表"，更便于开发与维护，也能避免跨页问题，MySQL底层是经过数据页存储的，一条记录占用空间过大会致使跨页，形成额外的性能开销。另外数据库以行为单位将数据加载到内存中，这样表中字段长度较短且访问频率较高，内存能加载更多的数据，命中率更高，减小了磁盘IO，从而提高了数据库性能。
   优势：(1)解决业务系统层面的耦合。(2)业务清晰与微服务的治理相似，也能对不一样业务的数据进行分级管理、维护、监控、扩展等。(3)高并发场景下，垂直切分必定程度的提高IO、数据库链接数、单机硬件资源的瓶颈。
   缺点：(1)部分表没法join，只能经过接口聚合方式解决，提高了开发的复杂度。(2)分布式事务处理复杂。(3)依然存在单表数据量过大的问题（须要水平切分）。

4. 水平拆分
   水平切分分为库内分表和分库分表，是根据表内数据内在的逻辑关系，将同一个表按不一样的条件分散到多个数据库或多个表中，每一个表中只包含一部分数据，从而使得单个表的数据量变小，达到分布式的效果。
   优势：（1）不存在单库数据量过大、高并发的性能瓶颈，提高系统稳定性和负载能力.（2）应用端改造较小，不须要拆分业务模块。
   缺点：（1）跨分片的事务一致性难以保证.（2）跨库的join关联查询性能较差.（3）数据屡次扩展难度和维护量极大。
   水平切分后同一张表会出如今多个数据库/表中，每一个库/表的内容不一样。几种典型的数据分片规则为：
   1）根据数值范围
   按照时间区间或ID区间来切分。例如：按日期将不一样月甚至是日的数据分散到不一样的库中；将userId为1~9999的记录分到第一个库，10000~20000的分到第二个库，以此类推。某种意义上，某些系统中使用的"冷热数据分离"，将一些使用较少的历史数据迁移到其余库中，业务功能上只提供热点数据的查询，也是相似的实践。
   这样的优势在于：（1）单表大小可控。（2）自然便于水平扩展，后期若是想对整个分片集群扩容时，只须要添加节点便可，无需对其余分片的数据进行迁移。（3）使用分片字段进行范围查找时，连续分片可快速定位分片进行快速查询，有效避免跨分片查询的问题。
   缺点：热点数据成为性能瓶颈。连续分片可能存在数据热点，例如按时间字段分片，有些分片存储最近时间段内的数据，可能会被频繁的读写，而有些分片存储的历史数据，则不多被查询。
   2）根据数值取模
   通常采用hash取模mod的切分方式，例如：将 Customer 表根据 cusno 字段切分到4个库中，余数为0的放到第一个库，余数为1的放到第二个库，以此类推。这样同一个用户的数据会分散到同一个库中，若是查询条件带有cusno字段，则可明肯定位到相应库去查询。
   优势：数据分片相对比较均匀，不容易出现热点和并发访问的瓶颈
   缺点：（1）后期分片集群扩容时，须要迁移旧的数据（使用一致性hash算法能较好的避免这个问题）（2）容易面临跨分片查询的复杂问题。好比上例中，若是频繁用到的查询条件中不带cusno时，将会致使没法定位数据库，从而须要同时向4个库发起查询，再在内存中合并数据，取最小集返回给应用，分库反而成为拖累。

5. 分库分表带来的问题

6. 进行分表
   通过计算，将数据分到6个表中，保证在5~6年内不须要继续进行分表。
   分表后使用静态常量定义查询、插入等SQL语句，表名使用replace()方法进行替换
   设计开关，将开关状态存入redis中，经过改变状态控制读取旧表或者新表