MySQL数据库分区的概念与2大好处

时间  2019-12-13
标签 mysql 数据库 分区 概念 好处 栏目 MySQL 繁體版
原文   原文链接

咱们你们都知道经过MySQL数据库分区（Partition）能够提高MySQL数据库的性能，那么到底什么是MySQL数据库分区呢？以及其实际应用的好处的表现有哪些呢？如下的文章就是对这些内容的描述。mysql

什么是数据库分区？web

数据库分区是一种物理数据库设计技术，DBA和数据库建模人员对其至关熟悉。虽然分区技术能够实现不少效果，但其主要目的是为了在特定的SQL操做中减小数据读写的总量以缩减响应时间。 分区主要有两种形式：//这里必定要注意行和列的概念（row是行，column是列）sql

水平分区（Horizontal Partitioning） 这种形式分区是对表的行进行分区，经过这样的方式不一样分组里面的物理列分割的数据集得以组合，从而进行个体分割（单分区）或集体分割（1个或多个分区）。全部在表中定义的列在每一个数据集中都能找到，因此表的特性依然得以保持。数据库

 

举个简单例子：一个包含十年发票记录的表能够被MySQL数据库分区为十个不一样的分区，每一个分区包含的是其中一年的记录。（朋奕注：这里具体使用的分区方式咱们后面再说，能够先说一点，必定要经过某个属性列来分割，譬如这里使用的列就是年份）数据库设计

 

垂直分区（Vertical Partitioning） 这种分区方式通常来讲是经过对表的垂直划分来减小目标表的宽度，使某些特定的列被划分到特定的分区，每一个分区都包含了其中的列所对应的行。性能

 

举个简单例子：一个包含了大text和BLOB列的表，这些text和BLOB列又不常常被访问，这时候就要把这些不常用的text和BLOB了划分到另外一个分区，在保证它们数据相关性的同时还能提升访问速度。测试

 

在数据库供应商开始在他们的数据库引擎中创建分区（主要是水平分区）时，DBA和建模者必须设计好表的物理分区结构，不要保存冗余的数据（不一样表中同时都包含父表中的数据）或相互联结成一个逻辑父对象（一般是视图）。这种作法会使水平分区的大部分功能失效，有时候也会对垂直分区产生影响。优化

 

 

在MySQL 5.1中进行分区url

 

MySQL5.1中最激动人心的新特性应该就是对水平MySQL数据库分区的支持了。这对MySQL的使用者来讲确实是个好消息，并且她已经支持分区大部分模式：spa

Range（范围） – 这种模式容许DBA将数据划分不一样范围。例如DBA能够将一个表经过年份划分红三个分区，80年代（1980's）的数据，90年代（1990's）的数据以及任何在2000年（包括2000年）后的数据。

 

Hash（哈希） – 这中模式容许DBA经过对表的一个或多个列的Hash Key进行计算，最后经过这个Hash码不一样数值对应的数据区域进行分区，。例如DBA能够创建一个对表主键进行分区的表。

 

Key（键值） – 上面Hash模式的一种延伸，这里的Hash Key是MySQL系统产生的。

 

List（预约义列表） – 这种模式容许系统经过DBA定义的列表的值所对应的行数据进行分割。例如：DBA创建了一个横跨三个分区的表，分别根据2004年2005年和2006年值所对应的数据。

 

Composite（复合模式） - 很神秘吧，哈哈，实际上是以上模式的组合使用而已，就不解释了。举例：在初始化已经进行了Range范围分区的表上，咱们能够对其中一个分区再进行hash哈希分区。

 

分区带来的两点好处：

性能的提高（Increased performance） - 在扫描操做中，若是MySQL的优化器知道哪一个分区中才包含特定查询中须要的数据，它就能直接去扫描那些分区的数据，而不用浪费不少时间扫描不须要的地方了。须要举个例子？好啊，百万行的表划分为10个分区，每一个分区就包含十万行数据，那么查询分区须要的时间仅仅是全表扫描的十分之一了，很明显的对比。

同时对十万行的表创建索引的速度也会比百万行的快得多得多。若是你能把这些分区创建在不一样的磁盘上，这时候的I/O读写速度就“不堪设想”（没用错词，真的太快了，理论上100倍的速度提高啊，这是多么快的响应速度啊，因此有点不堪设想了）了。

对数据管理的简化（Simplified data management） - 分区技术可让DBA对数据的管理能力提高。经过优良的MySQL数据库分区，DBA能够简化特定数据操做的执行方式。例如：DBA在对某些分区的内容进行删除的同时能保证余下的分区的数据完整性(这是跟对表的数据删除这种大动做作比较的)。 此外分区是由MySQL系统直接管理的，DBA不须要手工的去划分和维护。例如：这个例如没意思，不讲了，若是你是DBA，只要你划分了分区，之后你就不用管了就是了。

站在性能设计的观点上，俺们对以上的内容也是至关感兴趣滴。经过使用分区和对不一样的SQL操做的匹配设计，数据库的性能必定能得到巨大提高。下面我们一块儿用用这个MySQL 5.1的新功能看看。

下面全部的测试都在Dell Optiplex box with a Pentium 4 3.00GHz processor, 1GB of RAM机器上（炫耀啊……），Fedora Core 4和MySQL 5.1.6 alpha上运行经过。

 

如何进行实际分区 看看分区的实际效果吧。咱们创建几个一样的MyISAM引擎的表，包含日期敏感的数据，但只对其中一个分区。分区的表（表名为part_tab）咱们采用Range范围分区模式，经过年份进行MySQL数据库分区：

  1. mysql> CREATE TABLE part_tab   
  2. -> ( c1 int default NULL,   
  3. -> c2 varchar(30) default NULL,   
  4. -> c3 date default NULL ->   
  5. -> ) engine=myisam   
  6. -> PARTITION BY RANGE (year(c3))   
  7. (PARTITION p0 VALUES LESS THAN (1995),   
  8. -> PARTITION p1 VALUES LESS THAN (1996) , PARTITION p2 VALUES LESS THAN (1997) ,   
  9. -> PARTITION p3 VALUES LESS THAN (1998) , PARTITION p4 VALUES LESS THAN (1999) ,   
  10. -> PARTITION p5 VALUES LESS THAN (2000) , PARTITION p6 VALUES LESS THAN (2001) ,   
  11. -> PARTITION p7 VALUES LESS THAN (2002) , PARTITION p8 VALUES LESS THAN (2003) ,   
  12. -> PARTITION p9 VALUES LESS THAN (2004) , PARTITION p10 VALUES LESS THAN (2010),   
  13. -> PARTITION p11 VALUES LESS THAN MAXVALUE );   
  14. Query OK, 0 rows affected (0.00 sec) 

注意到了这里的最后一行吗？这里把不属于前面年度划分的年份范围都包含了，这样才能保证数据不会出错，你们之后要记住啊，否则数据库平白无故出错你就爽了。

 

那下面咱们创建没有MySQL数据库分区的表（表名为no_part_tab）：

 

  1. mysql> create table no_part_tab   
  2. -> (c1 int(11) default NULL,   
  3. -> c2 varchar(30) default NULL,   
  4. -> c3 date default NULL)   
  5. engine=myisam;   
  6. Query OK, 0 rows affected (0.02 sec)  

下面咱写一个存储过程它能向咱刚才创建的已分区的表中平均的向每一个分区插入共8百万条不一样的数据。填满后，咱就给没分区的克隆表中插入相同的数据：

  1. mysql> delimiter //   
  2. mysql> CREATE PROCEDURE load_part_tab()   
  3. -> begin   
  4. -> declare v int default 0;   
  5. -> while v < 8000000   
  6. -> do   
  7. -> insert into part_tab   
  8. -> values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));   
  9. -> set vv = v + 1;   
  10. -> end while;   
  11. -> end   
  12. -> //   
  13. Query OK, 0 rows affected (0.00 sec)   
  14. mysql> delimiter ;   
  15. mysql> call load_part_tab();   
  16. Query OK, 1 row affected (8 min 17.75 sec)   
  17. mysql> insert into no_part_tab select * from part_tab;   
  18. Query OK, 8000000 rows affected (51.59 sec) Records: 8000000 Duplicates: 0 Warnings: 0   

表都准备好了。咱开始对这两表中的数据进行简单的范围查询吧。先分区了的，后没MySQL数据库分区的，跟着有执行过程解析（MySQL Explain命令解析器），能够看到MySQL作了什么：

  1. mysql> select count(*) from no_part_tab where   
  2. -> c3 > date '1995-01-01' and c3 < date '1995-12-31';   
  3. +----------+ | count(*) | +----------+ | 795181 | +----------+ 1 row in set (38.30 sec)   
  4. mysql> select count(*) from part_tab where   
  5. -> c3 > date '1995-01-01' and c3 < date '1995-12-31';  
  6. +----------+ | count(*) | +----------+ | 795181 | +----------+ 1 row in set (3.88 sec)   
  7. mysql> explain select count(*) from no_part_tab where   
  8. -> c3 > date '1995-01-01' and c3 < date '1995-12-31'\G   
  9. id: 1 select_type:   
  10. SIMPLE table: no_part_tab   
  11. type: ALL   
  12. possible_keys: NULL   
  13. key: NULL   
  14. key_len: NULL   
  15. ref: NULL   
  16. rows: 8000000   
  17. Extra: Using where 1 row in set (0.00 sec)   
  18. mysql> explain partitions select count(*) from part_tab where   
  19. -> c3 > date '1995-01-01' and c3 < date '1995-12-31'\G   
  20. id: 1   
  21. select_type: SIMPLE   
  22. table: part_tab   
  23. partitions: p1   
  24. type: ALL   
  25. possible_keys: NULL   
  26. key: NULL   
  27. key_len: NULL   
  28. ref: NULL   
  29. rows: 798458   
  30. Extra: Using where 1 row in set (0.00 sec)   

从上面结果能够容易看出，设计恰当表分区能比非分区的减小90％的响应时间。而命令解析Explain程序也告诉咱们在对已分区的表的查询过程当中仅对第一个分区进行了扫描，其余都跳过了。

哔厉吧拉，说阿说……反正就是这个分区功能对DBA颇有用拉，特别对VLDB和须要快速反应的系统。

 

对Vertical Partitioning的一些见解 虽然MySQL 5.1自动实现了水平分区，但在设计数据库的时候不要轻视垂直MySQL数据库分区。虽然要手工去实现垂直分区，但在特定场合下你会收益很多的。例如在前面创建的表中，VARCHAR字段是你日常不多引用的，那么对它进行垂直分区会不会提高速度呢？我们看看测试结果：

  1. mysql> desc part_tab; +-------+-------------+------+-----+---------+-------+   
  2. | Field | Type | Null | Key | Default | Extra | +-------+-------------+------+-----+---------+-------+   
  3. | c1 | int(11) | YES | | NULL | |  
  4. | c2 | varchar(30) | YES | | NULL | |  
  5. | c3 | date | YES | | NULL | | +-------+-------------+------+-----+---------+-------+ 3 rows in set (0.03 sec)   
  6. mysql> alter table part_tab drop column c2;   
  7. Query OK, 8000000 rows affected (42.20 sec) Records: 8000000 Duplicates: 0 Warnings: 0   
  8. mysql> desc part_tab; +-------+---------+------+-----+---------+-------+   
  9. | Field | Type | Null | Key | Default | Extra | +-------+---------+------+-----+---------+-------+   
  10. | c1 | int(11) | YES | | NULL | |   
  11. | c3 | date | YES | | NULL | | +-------+---------+------+-----+---------+-------+  
  12. 2 rows in set (0.00 sec)   
  13. mysql> select count(*) from part_tab where   
  14. -> c3 > date '1995-01-01' and c3 < date '1995-12-31'; +----------+   
  15. | count(*) | +----------+   
  16. | 795181 | +----------+   
  17. 1 row in set (0.34 sec)   

在设计上去掉了VARCHAR字段后，不止是你，俺也发现查询响应速度上得到了另外一个90％的时间节省。因此你们在设计表的时候，必定要考虑，表中的字段是否真正关联，又是否在你的查询中有用？

补充说明

 

这么简单的文章确定不能说全MySQL 5.1 分区机制的全部好处和要点（虽然对本身写文章水平颇有信心），下面就说几个感兴趣的：

支持全部存储引擎(MyISAM, Archive, InnoDB, 等等)

 

对分区的表支持索引，包括本地索引local indexes，对其进行的是一对一的视图镜像，假设一个表有十个分区，那么其本地索引也包含十个分区。

 

关于分区的元数据Metadata的表能够在INFORMATION_SCHEMA数据库中找到，表名为PARTITIONS。

 

All SHOW 命令支持返回MySQL数据库分区表以及元数据的索引。

 

对其操做的命令和实现的维护功能有（比对全表的操做还多）：

 

  1. ADD PARTITION   
  2. DROP PARTITION   
  3. COALESCE PARTITION   
  4. REORGANIZE PARTITION   
  5. ANALYZE PARTITION   
  6. CHECK PARTITION   
  7. OPTIMIZE PARTITION   
  8. REBUILD PARTITION   
  9. REPAIR PARTITION  

 

以上的相关内容就是对MySQL数据库分区的介绍，望你能有所收获。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程