工做中处理数据时,发现某个表的数据达近亿条,因此要为表建索引提升查询性能,如下两篇文章总结的很好,记录一下,以备后用。
数据库创建索引经常使用的规则以下:
一、表的主键、外键必须有索引;
二、数据量超过300的表应该有索引;
三、常常与其余表进行链接的表,在链接字段上应该创建索引;
四、常常出如今Where子句中的字段,特别是大表的字段,应该创建索引;
五、索引应该建在选择性高的字段上;
六、索引应该建在小字段上,对于大的文本字段甚至超长字段,不要建索引;
七、复合索引的创建须要进行仔细分析;尽可能考虑用单字段索引代替:html
A、正确选择复合索引中的主列字段,通常是选择性较好的字段;java
B、复合索引的几个字段是否常常同时以AND方式出如今Where子句中?单字段查询是否极少甚至没有?若是是,则能够创建复合索引;不然考虑单字段索引;mysql
C、若是复合索引中包含的字段常常单独出如今Where子句中,则分解为多个单字段索引;sql
E、若是既有单字段索引,又有这几个字段上的复合索引,通常能够删除复合索引;数据库
八、频繁进行数据操做的表,不要创建太多的索引;
九、删除无用的索引,避免对执行计划形成负面影响;markdown
以上是一些广泛的创建索引时的判断依据。
索引的创建必须慎重,对每一个索引的必要性都应该通过仔细分析,要有创建的依据。
由于太多的索引与不充分、不正确的索引对性能都毫无益处:在表上创建的每一个索引都会增长存储开销,索引对于插入、删除、更新操做也会增长处理上的开销。 另外,过多的复合索引,在有单字段索引的状况下,通常都是没有存在价值的;相反,还会下降数据增长删除时的性能,特别是对频繁更新的表来讲,负面影响更大。
总的来讲,小型表确定不建索引,
或者数据库记录在亿条数据级以上,仍是建议使用非关系型数据库。
还有些特殊字段的数据库,好比BLOB,CLOB字段确定也不适合建索引。
其实这个问题更感受偏向于作软件项目的一种经验。session
对千万级MySQL数据库创建索引的事项及提升性能的手段
1、注意事项:
首先,应当考虑表空间和磁盘空间是否足够。咱们知道索引也是一种数据,在创建索引的时候势必也会占用大量表空间。所以在对一大表创建索引的时候首先应当考虑的是空间容量问题。
其次,在对创建索引的时候要对表进行加锁,所以应当注意操做在业务空闲的时候进行。oracle
2、性能调整方面:
首当其冲的考虑因素即是磁盘I/O。物理上,应当尽可能把索引与数据分散到不一样的磁盘上(不考虑阵列的状况)。逻辑上,数据表空间与索引表空间分开。这是在建索引时应当遵照的基本准则。app
其次,咱们知道,在创建索引的时候要对表进行全表的扫描工做,所以,应当考虑调大初始化参数db_file_multiblock_read_count的值。通常设置为32或更大。数据库设计
再次,创建索引除了要进行全表扫描外同时还要对数据进行大量的排序操做,所以,应当调整排序区的大小。
9i以前,能够在session级别上加大sort_area_size的大小,好比设置为100m或者更大。
9i之后,若是初始化参数workarea_size_policy的值为TRUE,则排序区从pga_aggregate_target里自动分配得到。
最后,创建索引的时候,能够加上nologging选项。以减小在创建索引过程当中产生的大量redo,从而提升执行的速度。
MySql在创建索引优化时须要注意的问题
设计好MySql的索引可让你的数据库飞起来,大大的提升数据库效率。设计MySql索引的时候有如下几点注意:
1,建立索引
对于查询占主要的应用来讲,索引显得尤其重要。不少时候性能问题很简单的就是由于咱们忘了添加索引而形成的,或者说没有添加更为有效的索引致使。若是不加索引的话,那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描,若是一张表的数据量很大而符合条件的结果又不多,那么不加索引会引发致命的性能降低。可是也不是什么状况都非得建索引不可,好比性别可能就只有两个值,建索引不只没什么优点,还会影响到更新速度,这被称为过分索引。
2,复合索引
好比有一条语句是这样的:select * from users where area=’beijing’ and age=22;
若是咱们是在area和age上分别建立单个索引的话,因为mysql查询每次只能使用一个索引,因此虽然这样已经相对不作索引时全表扫描提升了不少效 率,可是若是在area、age两列上建立复合索引的话将带来更高的效率。若是咱们建立了(area, age, salary)的复合索引,那么其实至关于建立了(area,age,salary)、(area,age)、(area)三个索引,这被称为最佳左前缀
特性。所以咱们在建立复合索引时应该将最经常使用做限制条件的列放在最左边,依次递减。
3,索引不会包含有NULL值的列
只要列中包含有NULL值都将不会被包含在索引中,复合索引中只要有一列含有NULL值,那么这一列对于此复合索引就是无效的。因此咱们在数据库设计时不要让字段的默认值为NULL。
4,使用短索引
对串列进行索引,若是可能应该指定一个前缀长度。例如,若是有一个CHAR(255)的 列,若是在前10 个或20 个字符内,多数值是唯一的,那么就不要对整个列进行索引。短索引不只能够提升查询速度并且能够节省磁盘空间和I/O操做。
5,排序的索引问题
mysql查询只使用一个索引,所以若是where子句中已经使用了索引的话,那么order by中的列是不会使用索引的。所以数据库默认排序能够符合要求的状况下不要使用排序操做;尽可能不要包含多个列的排序,若是须要最好给这些列建立复合索引。
6,like语句操做
通常状况下不鼓励使用like操做,若是非使用不可,如何使用也是一个问题。like “%a%” 不会使用索引而like “aaa%”可使用索引。
7,不要在列上进行运算
select * from users where YEAR(adddate)
8,不使用NOT IN和操做
NOT IN操做不会使用索引将进行全表扫描。NOT IN能够NOT EXISTS代替
添加索引示例:
-
CREATE
INDEX IDX_AUDITSTATUS
ON [
shanghaiDB].[
dbo].[
Activity](
AUDITSTATUS)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_ANUMMID
ON [
nantongDB].[
dbo].[
Orders](
ANUM,MID)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_SiteCode
ON Usercenter.[dbo].MO(SiteCode)
WITH(
ONLINE=
ON)
-
-
CREATE
INDEX IDX_AccessDt
ON [
all].[
dbo].[
AccessLog](
AccessDt)
WITH(
ONLINE=
ON)
Create index注意n若是是大表创建索引,切记加上ONLINE参数
这几天在作数据库的优化,有个2亿记录的表,发现须要添加一个联合索引,结果就采用普通的create index index_name on tablename (entp_id,sell_date),结果悲剧了,把全部的DML语句都阻塞了,致使系统不能正常使用,还好是晚上10点,用户不是很是多,1个小时候,索引结束,阻塞解决;
上网查了一下,若是加上 online参数后,就能够在线作索引,而不须要阻塞全部的DML语句,血的教训,拿出来与各位共勉,具体online与不加online区别以下:
1. DML操做对create index 的影响。 若是在create的时候,有其余的进程在对这个index 所对应的数据进行DML操做,create会受影响:
-
SQL>
create table test (
id
number
,
name
varchar2(
20
));
-
-
而后从新开一个session:
-
SQL> insert
into test values (
1,
'lms');
-
-
-
-
-
-
SQL>
create
index t1
on test(id);
-
create
index t1
on test(id)
-
-
-
ORA-
00054: resource busy
and acquire
with NOWAIT specified
2. 加online这个参数,这个参数加上之后,除了create过程当中index 保持online状态,Oracle还会在create index以前等待全部DML操做结束,而后获得DDL锁,开始create.
-
SQL> create
index t1
on test(
id) online;
-
-
-
-
-
-
-
-
若是不commit,上面的操做就会一直hold。
因此之后create索引和rebuild索引的时候最好加上online。
转自:https://blog.csdn.net/Su_Xingyu/article/details/79900290
mysql 索引类型以及建立
关于MySQL索引的好处,若是正确合理设计而且使用索引的MySQL是一辆兰博基尼的话,那么没有设计和使用索引的MySQL就是一我的力三轮车。对于没有索引的表,单表查询可能几十万数据就是瓶颈,而一般大型网站单日就可能会产生几十万甚至几百万的数据,没有索引查询会变的很是缓慢。仍是以WordPress来讲,其多个数据表都会对常常被查询的字段添加索引,好比wp_comments表中针对5个字段设计了BTREE索引。
MySQL索引的概念
索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分),它们包含着对数据表里全部记录的引用指针。更通俗的说,数据库索引比如是一本书前面的目录,能加快数据库的查询速度。上述SQL语句,在没有索引的状况下,数据库会遍历所有200条数据后选择符合条件的;而有了相应的索引以后,数据库会直接在索引中查找符合条件的选项。若是咱们把SQL语句换成“SELECT * FROM article WHERE id=2000000”,那么你是但愿数据库按照顺序读取完200万行数据之后给你结果仍是直接在索引中定位呢?(注:通常数据库默认都会为主键生成索引)。
索引分为聚簇索引和非聚簇索引两种,聚簇索引是按照数据存放的物理位置为顺序的,而非聚簇索引就不同了;聚簇索引能提升多行检索的速度,而非聚簇索引对于单行的检索很快。
MySQL索引的类型
1. 普通索引
ALTER TABLE article ADD INDEX index_article_title ON title(200);
这是最基本的索引,它没有任何限制,好比为title字段建立的索引就是一个普通索引,MyIASM中默认的BTREE类型的索引,也是咱们大多数状况下用到的索引。
直接建立索引
CREATE INDEX index_name ON table(column(length))
修改表结构的方式添加索引
ALTER TABLE table_name ADD INDEX index_name ON (column(length))
建立表的时候同时建立索引
CREATE TABLE `table` (
`id` int(11) NOT NULL AUTO_INCREMENT ,
`title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` int(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
INDEX index_name (title(length))
)
删除索引
DROP INDEX index_name ON table
2. 惟一索引
与普通索引相似,不一样的就是:索引列的值必须惟一,但容许有空值(注意和主键不一样)。若是是组合索引,则列值的组合必须惟一,建立方法和普通索引相似。
#建立惟一索引
CREATE UNIQUE INDEX indexName ON TABLE(COLUMN(LENGTH))
#修改表结构
ALTER TABLE table_name ADD UNIQUE indexName ON (COLUMN(LENGTH))
#建立表的时候直接指定
CREATE TABLE `table` (
`id` INT(11) NOT NULL AUTO_INCREMENT ,
`title` CHAR(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` INT(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
UNIQUE indexName (title(LENGTH))
)
3. 全文索引(FULLTEXT)
MySQL从3.23.23版开始支持全文索引和全文检索,FULLTEXT索引仅可用于 MyISAM 表;他们能够从CHAR、VARCHAR或TEXT列中做为CREATE TABLE语句的一部分被建立,或是随后使用ALTER TABLE 或CREATE INDEX被添加。////对于较大的数据集,将你的资料输入一个没有FULLTEXT索引的表中,而后建立索引,其速度比把资料输入现有FULLTEXT索引的速度更为快。不过切记对于大容量的数据表,生成全文索引是一个很是消耗时间很是消耗硬盘空间的作法。
建立表的适合添加全文索引
CREATE TABLE `table` (
`id` int(11) NOT NULL AUTO_INCREMENT ,
`title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL ,
`time` int(10) NULL DEFAULT NULL ,
PRIMARY KEY (`id`),
FULLTEXT INDEX index_name (column)
)
修改表结构添加全文索引
ALTER TABLE article ADD FULLTEXT INDEX index_name (column)
直接建立索引
CREATE FULLTEXT INDEX index_name ON article(column)
4. 单列索引、多列索引
多个单列索引与单个多列索引的查询效果不一样,由于执行查询时,MySQL只能使用一个索引,会从多个索引中选择一个限制最为严格的索引。
5. 组合索引(最左前缀)
平时用的SQL查询语句通常都有比较多的限制条件,因此为了进一步榨取MySQL的效率,就要考虑创建组合索引。例如上表中针对title和time创建一个组合索引:ALTER TABLE article ADD INDEX index_titme_time (title(50),time(10))。创建这样的组合索引,实际上是至关于分别创建了下面两组组合索引:(
title,time),
title,
为何没有time这样的组合索引呢?这是由于MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并非只要包含这两列的查询都会用到该组合索引,以下面的几个SQL所示:
使用到上面的索引
SELECT * FROM article WHREE title='测试' AND time=1234567890;
SELECT * FROM article WHREE utitle='测试';
不使用上面的索引
SELECT * FROM article WHREE time=1234567890;
MySQL索引的优化
上面都在说使用索引的好处,但过多的使用索引将会形成滥用。所以索引也会有它的缺点:虽然索引大大提升了查询速度,同时却会下降更新表的速度,如对表进行INSERT、UPDATE和DELETE。由于更新表时,MySQL不只要保存数据,还要保存一下索引文件。创建索引会占用磁盘空间的索引文件。通常状况这个问题不太严重,但若是你在一个大表上建立了多种组合索引,索引文件的会膨胀很快。索引只是提升效率的一个因素,若是你的MySQL有大数据量的表,就须要花时间研究创建最优秀的索引,或优化查询语句。下面是一些总结以及收藏的MySQL索引的注意事项和优化方法。
什么时候使用汇集索引或非汇集索引?
动做描述 |
使用汇集索引 |
使用非汇集索引 |
列常常被分组排序 |
使用 |
使用 |
返回某范围内的数据 |
使用 |
不使用 |
一个或极少不一样值 |
不使用 |
不使用 |
小数目的不一样值 |
使用 |
不使用 |
大数目的不一样值 |
不使用 |
使用 |
频繁更新的列 |
不使用 |
使用 |
外键列 |
使用 |
使用 |
主键列 |
使用 |
使用 |
频繁修改索引列 |
不使用 |
使用 |
事实上,咱们能够经过前面汇集索引和非汇集索引的定义的例子来理解上表。如:返回某范围内的数据一项。好比您的某个表有一个时间列,刚好您把聚合索引创建在了该列,这时您查询2004年1月1日至2004年10月1日之间的所有数据时,这个速度就将是很快的,由于您的这本字典正文是按日期进行排序的,聚类索引只须要找到要检索的全部数据中的开头和结尾数据便可;而不像非汇集索引,必须先查到目录中查到每一项数据对应的页码,而后再根据页码查到具体内容。
转自:http://feiyan.info/16.html