架构之数据库分表分库

1 基本思想之什么是分库分表？
从字面上简单理解，就是把本来存储于一个库的数据分块存储到多个库上，把本来存储于一个表的数据分块存储到多个表上。
2 基本思想之为何要分库分表？

数据库中的数据量不必定是可控的，在未进行分库分表的状况下，随着时间和业务的发展，库中的表会愈来愈多，表中的数据量也会愈来愈大，相应地，数据操做，增删改查的开销也会愈来愈大；另外，因为没法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。

分库分表有垂直切分和水平切分两种。
3.1 何谓垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不一样的库上。例如，咱们会创建定义数据库workDB、商品数据库payDB、用户数据库userDB、日志数据库logDB等，分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2 何谓水平切分，当一个表中的数据量过大时，咱们能够把该表的数据按照某种规则，例如userID散列，进行划分，而后存储到多个结构相同的表，和不一样的库上。例如，咱们的userDB中的用户数据表中，每个表的数据量都很大，就能够把userDB切分为结构相同的多个userDB：part0DB、part1DB等，再将userDB上的用户数据表userTable，切分为不少userTable：userTable0、userTable1等，而后将这些表按照必定的规则存储到多个userDB上。
3.3 应该使用哪种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。
若是数据库是由于表太多而形成海量数据，而且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。
而若是数据库中的表并很少，但单表的数据量很大、或数据热度很高，这种状况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将本来逻辑上属于一体的数据进行了物理分割，除了在分割时要对分割的粒度作好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中，每每是这两种状况兼而有之，这就须要作出权衡，甚至既须要垂直切分，又须要水平切分。咱们的游戏项目便综合使用了垂直与水平切分，咱们首先对数据库进行垂直切分，而后，再针对一部分表，一般是用户数据表，进行水平切分。
4 分库分表存在的问题。

4.1 事务问题。
在执行分库分表以后，因为数据存储到了不一样的库上，数据库事务管理出现了困难。若是依赖数据库自己的分布式事务管理功能去执行事务，将付出高昂的性能代价；若是由应用程序去协助控制，造成程序逻辑上的事务，又会形成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表以后，难以免会将本来逻辑关联性很强的数据划分到不一样的表、不一样的库上，这时，表的关联操做将受到限制，咱们没法join位于不一样分库的表，也没法join分表粒度不一样的表，结果本来一次查询可以完成的业务，可能须要屡次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些均可以经过应用程序解决，但必然引发额外的逻辑运算，例如，对于一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表以前，只需一个order by语句就能够搞定，可是在进行分表以后，将须要n个order by语句，分别查出每个分表的前100名用户数据，而后再对这些数据进行合并计算，才能得出结果。

一、Cobar（阿里，目前已不在维护）

       [存储] Cobar使用文档（可用做MySQL大型集群解决方案）

二、TDDL（阿里淘宝，须要用到阿里另一个项目diamond配置中心）

分布式数据层

三、ATLAS（奇虎360）

    负载均衡、读写分离，不支持分库分表

四、MyCat（以Cobar基础，号称中国第一开源框架） 

      MyCat分库分表

 

 

点击连接加入群【.NET大型网站架构】433685124QQ群