Mysql分库分表

参考网址：

https://www.cnblogs.com/sunny3096/p/8595058.html

https://blog.csdn.net/rorntuck7/article/details/50668060

 

1、Mysql分库分表方案

1.为何要分表：

当一张表的数据达到几千万时，你查询一次所花的时间会变多，若是有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减少数据库的负担，缩短查询时间。

mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示大家都不能对这张表进行操做，必须等我对表操做完才行。行锁定也同样，别的sql必须等我对这条数据操做完了，才能对这条数据进行操做。

2. mysql proxy：amoeba

作mysql集群,利用amoeba。

从上层的java程序来说，不须要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来说是透明的。能够经过amoeba来配置。

3.大数据量而且访问频繁的表，将其分为若干个表

好比对于某网站平台的数据库表-公司表，数据量很大，这种能预估出来的大数据量表，咱们就事先分出个N个表，这个N是多少，根据实际状况而定。

     某网站如今的数据量至可能是5000万条，能够设计每张表容纳的数据量是500万条，也就是拆分红10张表，

那么如何判断某张表的数据是否容量已满呢？能够在程序段对于要新增数据的表，在插入前先作统计表记录数量的操做，当<500万条数据，就直接插入，当已经到达阀值，能够在程序段新建立数据库表（或者已经事先建立好），再执行插入操做。

4. 利用merge存储引擎来实现分表

若是要把已有的大数据量表分开比较痛苦，最痛苦的事就是改代码，由于程序里面的sql语句已经写好了。用merge存储引擎来实现分表, 这种方法比较适合.

举例子：

 

---

2、数据库架构

一、简单的MySQL主从复制:

MySQL的主从复制解决了数据库的读写分离，并很好的提高了读的性能，其图以下：

 

其主从复制的过程以下图所示：

 

可是，主从复制也带来其余一系列性能瓶颈问题：

1. 写入没法扩展
2. 写入没法缓存
3. 复制延时
4. 锁表率上升
5. 表变大，缓存率降低

那问题产生总得解决的，这就产生下面的优化方案，一块儿来看看。

二、MySQL垂直分区

   若是把业务切割得足够独立，那把不一样业务的数据放到不一样的数据库服务器将是一个不错的方案，并且万一其中一个业务崩溃了也不会影响其余业务的正常进行，而且也起到了负载分流的做用，大大提高了数据库的吞吐能力。通过垂直分区后的数据库架构图以下：

 

然而，尽管业务之间已经足够独立了，可是有些业务之间或多或少总会有点联系，如用户，基本上都会和每一个业务相关联，何况这种分区方式，也不能解决单张表数据量暴涨的问题，所以为什么不试试水平分割呢？

三、MySQL水平分片（Sharding）

这是一个很是好的思路，将用户按必定规则（按id哈希）分组，并把该组用户的数据存储到一个数据库分片中，即一个sharding，这样随着用户数量的增长，只要简单地配置一台服务器便可，原理图以下：

 

如何来肯定某个用户所在的shard呢，能够建一张用户和shard对应的数据表，每次请求先从这张表找用户的shard id，再从对应shard中查询相关数据，以下图所示：

 

①单库单表 

单库单表是最多见的数据库设计，例如，有一张用户(user)表放在数据库db中，全部的用户均可以在db库中的user表中查到。 

②单库多表 

随着用户数量的增长，user表的数据量会愈来愈大，当数据量达到必定程度的时候对user表的查询会渐渐的变慢，从而影响整个DB的性能。若是使用mysql, 还有一个更严重的问题是，当须要添加一列的时候，mysql会锁表，期间全部的读写操做只能等待。 

能够经过某种方式将user进行水平的切分，产生两个表结构彻底同样的user_0000,user_0001等表，user_0000 + user_0001 + …的数据恰好是一份完整的数据。 

③多库多表

随着数据量增长也许单台DB的存储空间不够，随着查询量的增长单台数据库服务器已经没办法支撑。这个时候能够再对数据库进行水平区分。 

---

 

4、分库分表规则 

设计表的时候须要肯定此表按照什么样的规则进行分库分表。例如，当有新用户时，程序得肯定将此用户信息添加到哪一个表中；同理，当登陆的时候咱们得经过用户的帐号找到数据库中对应的记录，全部的这些都须要按照某一规则进行。 
路由 

经过分库分表规则查找到对应的表和库的过程。如分库分表的规则是user_id mod 4的方式，当用户新注册了一个帐号，帐号id的123,咱们能够经过id mod 4的方式肯定此帐号应该保存到User_0003表中。当用户123登陆的时候，咱们经过123 mod 4后肯定记录在User_0003中。 
分库分表产生的问题，及注意事项 

1.   分库分表维度的问题 

假如用户购买了商品,须要将交易记录保存取来，若是按照用户的纬度分表，则每一个用户的交易记录都保存在同一表中，因此很快很方便的查找到某用户的 购买状况，可是某商品被购买的状况则颇有可能分布在多张表中，查找起来比较麻烦。反之，按照商品维度分表，能够很方便的查找到此商品的购买状况，但要查找 到买人的交易记录比较麻烦。 

因此常见的解决方式有： 

• 经过扫表的方式解决，此方法基本不可能，效率过低了。
• 记录两份数据，一份按照用户纬度分表，一份按照商品维度分表。
• 经过搜索引擎解决，但若是实时性要求很高，又得关系到实时搜索。 

2.   联合查询的问题 

联合查询基本不可能，由于关联的表有可能不在同一数据库中。 

3.   避免跨库事务

避免在一个事务中修改db0中的表的时候同时修改db1中的表，一个是操做起来更复杂，效率也会有必定影响。 

4.   尽可能把同一组数据放到同一DB服务器上

例如将卖家a的商品和交易信息都放到db0中，当db1挂了的时候，卖家a相关的东西能够正常使用。也就是说避免数据库中的数据依赖另外一数据库中的数据。 

5.一主多备

在实际的应用中，绝大部分状况都是读远大于写。Mysql提供了读写分离的机制，全部的写操做都必须对应到Master，读操做能够在 Master和Slave机器上进行，Slave与Master的结构彻底同样，一个Master能够有多个Slave,甚至Slave下还能够挂 Slave,经过此方式能够有效的提升DB集群的 QPS.                                                       

全部的写操做都是先在Master上操做，而后同步更新到Slave上，因此从Master同步到Slave机器有必定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增长也会使这个问题更加严重。 
此外，能够看出Master是集群的瓶颈，当写操做过多，会严重影响到Master的稳定性，若是Master挂掉，整个集群都将不能正常工做。 
因此

• 当读压力很大的时候，能够考虑添加Slave机器的分式解决，可是当Slave机器达到必定的数量就得考虑分库了。
• 当写压力很大的时候，就必须得进行分库操做。 

 

---

5、MySQL使用为何要分库分表

能够用说用到MySQL的地方,只要数据量一大, 立刻就会遇到一个问题,要分库分表. 这里引用一个问题为何要分库分表呢?MySQL处理不了大的表吗? 实际上是能够处理的大表的.我所经历的项目中单表物理上文件大小在80G多,单表记录数在5亿以上,并且这个表 属于一个很是核用的表:朋友关系表. 

但这种方式能够说不是一个最佳方式. 由于面临文件系统如Ext3文件系统对大于大文件处理上也有许多问题. 这个层面能够用xfs文件系统进行替换.但MySQL单表太大后有一个问题是很差解决: 表结构调整相关的操做基 
本不在可能.因此大项在使用中都会面监着分库分表的应用. 

从Innodb自己来说数据文件的Btree上只有两个锁, 叶子节点锁和子节点锁,能够想而知道,当发生页拆分或是添加新叶时都会形成表里不能写入数据.因此分库分表还就是一个比较好的选择了. 

那么分库分表多少合适呢? 
经测试在单表1000万条记录一下,写入读取性能是比较好的. 这样在留点buffer,那么单表全是数据字型的保持在800万条记录如下, 有字符型的单表保持在500万如下. 

若是按 100库100表来规划,如用户业务: 500万*100*100 = 50000000万 = 5000亿记录. 

内心有一个数了,按业务作规划仍是比较容易的.

分布式数据库架构--排序、分页、分组、实现

---

 

6、最近研究分布式数据库架构，发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理以下。

1.多分片（水平切分）返回结果合并（排序）

①Select + None Aggregate Function的有序记录合并排序 

解决思路：对各分片返回的有序记录，进行排序去重合并。此处主要是编写排序去重合并算法。

②Select + None Aggregate Function的无序记录合并

解决思路：对各分片返回的无序记录，进行去重合并。

• 优势：实现比较简单。
•  缺点：数据量越大，字段越多，去重处理就会越耗时。

③Select + Aggregate Function的记录合并（排序）Oracle经常使用聚合函数：Count、Max、Min、Avg、Sum。

• AF：Max、Min
  • 思路：经过算法对各分片返回结果再求max、min值。
• AF：Avg、Sum、Count
  • 思路：分片间无重复记录或字段时，经过算法对各分片返回结果再求avg、sum、count值。分片间有重复记录或字段时，先对各分片记录去重合并，再经过算法求avg、sum、count值。

好比：

select count(*) from user

select count(deptno) from user;

select count(distinct deptno) from user;

2.多分片（水平切分）返回结果分页

解决思路：合并各分片返回结果，逻辑分页。

        优势：  实现简单。

        缺点：  数据量越大，缓存压力就越大。

                     分片数据量越大，查询也会越慢。

3.多分片（水平切分）查询有分组语法的合并

①Group By Having + None Aggregate Function时

• Select + None Aggregate Function
  • 好比：select job user group by job;
  • 思路：直接去重（排序）合并。
• Select + Aggregate Function
  • 好比：select max(sal),job user group by job;
  • 思路：同Select + Aggregate Function的记录合并（排序）。

②Group By Having + Aggregate Function时

解决思路：去掉having AF条件查询各分片，而后把数据放到一张表里。再用group by having 聚合函数查询。

4.分布式数据库架构--排序分组分页参考解决方案

• 解决方案1：Hadoop + Hive。
  • 思路：使用Hadoop HDFS来存储数据，经过Hdoop MapReduce完成数据计算，经过Hive HQL语言使用部分与RDBBS同样的表格查询特性和分布式存储计算特性。
  • 优势：

1. 1. 能够解决问题
   2. 具备并发处理能力
   3. 能够离线处理

• • 缺点： 

1. 1. 实时性不能保证
   2. 网络延迟会增长
   3. 异常捕获难度增长
   4. Web应用起来比较复杂

• 解决方案2：总库集中查询。
  • 优势：

1. 1. 能够解决问题
   2. 实现简单

• • 缺点：

1. 1. 总库数据不能太大
   2. 并发压力大

5.小结

对 于分布式数据库架构来讲，排序、分页、分组一直就是一个比较复杂的问题。避免此问题须要好好地设计分库、分表策略。同时根据特定的场景来解决问题。也能够 充分利用海量数据存储（Hadoop-HDFS|Hive|HBse）、搜索引擎（Lucene|Solr）及分布式计算（MapReduce）等技术来 解决问题。
别外，也能够用NoSQL技术替代关系性数据库来解决问题，好比MogonDB\redis。

即便爬到最高的山上，一次也只能脚踏实地地迈一步。