MySQL性能优化的最佳21条经验【转载】

今天,数据库的操做愈来愈成为整个应用的性能瓶颈了,这点对于Web应用尤为明显。关于数据库的性能,这并不仅是DBA才须要担忧的事,而这更是咱们程序员须要去关注的事情。当咱们去设计数据库表结构,对操做数据库时(尤为是查表时的SQL语句),咱们都须要注意数据操做的性能。这里,咱们不会讲过多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库。但愿下面的这些优化技巧对你有用。php

1.为查询缓存优化你的查询mysql

大多数的MySQL服务器都开启了查询缓存。这是提升性最有效的方法之一,并且这是被MySQL的数据库引擎处理的。当有不少相同的查询被执行了屡次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操做表而直接访问缓存结果了。程序员

这里最主要的问题是,对于程序员来讲,这个事情是很容易被忽略的。由于,咱们某些查询语句会让MySQL不使用缓存。请看下面的示例:算法

 

上面两条SQL语句的差异就是CURDATE(),MySQL的查询缓存对这个函数不起做用。因此,像NOW()和RAND()或是其它的诸如此类的SQL函数都不会开启查询缓存,由于这些函数的返回是会不定的易变的。因此,你所须要的就是用一个变量来代替MySQL的函数,从而开启缓存。sql

2.EXPLAIN你的SELECT查询数据库

使用EXPLAIN关键字可让你知道MySQL是如何处理你的SQL语句的。这能够帮你分析你的查询语句或是表结构的性能瓶颈。缓存

EXPLAIN的查询结果还会告诉你你的索引主键被如何利用的,你的数据表是如何被搜索和排序的……等等,等等。安全

挑一个你的SELECT语句(推荐挑选那个最复杂的,有多表联接的),把关键字EXPLAIN加到前面。你可使用phpmyadmin来作这个事。而后,你会看到一张表格。下面的这个示例中,咱们忘记加上了group_id索引,而且有表联接:ww.phperz.com服务器

 

当咱们为group_id字段加上索引后:网络

 

咱们能够看到,前一个结果显示搜索了7883行,然后一个只是搜索了两个表的9和16行。查看rows列可让咱们找到潜在的性能问题。

3.当只要一行数据时使用LIMIT1

当你查询表的有些时候,你已经知道结果只会有一条结果,但由于你可能须要去fetch游标,或是你也许会去检查返回的记录数。

在这种状况下,加上LIMIT 1能够增长性能。这样同样,MySQL数据库引擎会在找到一条数据后中止搜索,而不是继续日后查少下一条符合记录的数据。

下面的示例,只是为了找一下是否有“中国”的用户,很明显,后面的会比前面的更有效率。(请注意,第一条中是Select *,第二条是Select 1)

php程序员站

4.为搜索字段建索引

索引并不必定就是给主键或是惟一的字段。若是在你的表中,有某个字段你总要会常常用来作搜索,那么,请为其创建索引吧。

 

从上图你能够看到那个搜索字串 “last_name LIKE ‘a%’”,一个是建了索引,一个是没有索引,性能差了4倍左右。

另外,你应该也须要知道什么样的搜索是不能使用正常的索引的。例如,当你须要在一篇大的文章中搜索一个词时,如: “WHERE post_content LIKE ‘%apple%’”,索引多是没有意义的。你可能须要使用MySQL全文索引或是本身作一个索引(好比说:搜索关键词或是Tag什么的)

5.在Join表的时候使用至关类型的例,并将其索引

若是你的应用程序有不少JOIN查询,你应该确认两个表中Join的字段是被建过索引的。这样,MySQL内部会启动为你优化Join的SQL语句的机制。

并且,这些被用来Join的字段,应该是相同的类型的。例如:若是你要把DECIMAL字段和一个INT字段Join在一块儿,MySQL就没法使用它们的索引。对于那些STRING类型,还须要有相同的字符集才行。(两个表的字符集有可能不同)程序员站

 

6.千万不要ORDER BY RAND()

想打乱返回的数据行?随机挑一个数据?真不知道谁发明了这种用法,但不少新手很喜欢这样用。但你确不了解这样作有多么可怕的性能问题。

若是你真的想把返回的数据行打乱了,你有N种方法能够达到这个目的。这样使用只让你的数据库的性能呈指数级的降低。这里的问题是:MySQL会不得不去执行RAND()函数(很耗CPU时间),并且这是为了每一行记录去记行,而后再对其排序。就算是你用了Limit 1也无济于事(由于要排序)

下面的示例是随机挑一条记录

 

7.避免 SELECT *

从数据库里读出越多的数据,那么查询就会变得越慢。而且,若是你的数据库服务器和WEB服务器是两台独立的服务器的话,这还会增长网络传输的负载。

因此,你应该养成一个须要什么就取什么的好的习惯。

 

8.永远为每张表设置一个ID

咱们应该为数据库里的每张表都设置一个ID作为其主键,并且最好的是一个INT型的(推荐使用UNSIGNED),并设置上自动增长的AUTO_INCREMENT标志。

就算是你users表有一个主键叫“email”的字段,你也别让它成为主键。使用VARCHAR类型来当主键会使用得性能降低。另外,在你的程序中,你应该使用表的ID来构造你的数据结构

并且,在MySQL数据引擎下,还有一些操做须要使用主键,在这些状况下,主键的性能和设置变得很是重要,好比,集群,分区……

在这里,只有一个状况是例外,那就是“关联表”的“外键”,也就是说,这个表的主键,经过若干个别的表的主键构成。咱们把这个状况叫作“外键”。好比:有一个“学生表”有学生的ID,有一个“课程表”有课程ID,那么,“成绩表”就是“关联表”了,其关联了学生表和课程表,在成绩表中,学生ID和课程ID叫“外键”其共同组成主键。www~phperz~com

9.使用ENUM而不是VARCHAR

ENUM类型是很是快和紧凑的。在实际上,其保存的是TINYINT,但其外表上显示为字符串。这样一来,用这个字段来作一些选项列表变得至关的完美。

若是你有一个字段,好比“性别”,“国家”,“民族”,“状态”或“部门”,你知道这些字段的取值是有限并且固定的,那么,你应该使用ENUM而不是VARCHAR。

MySQL也有一个“建议”(见第十条)告诉你怎么去从新组织你的表结构。当你有一个VARCHAR字段时,这个建议会告诉你把其改为ENUM类型。使用PROCEDURE ANALYSE() 你能够获得相关的建议。

10.从PROCEDURE ANALYSE()取得建议p程序员站

PROCEDURE ANALYSE() 会让MySQL帮你去分析你的字段和其实际的数据,并会给你一些有用的建议。只有表中有实际的数据,这些建议才会变得有用,由于要作一些大的决定是须要有数据做为基础的。

例如,若是你建立了一个INT字段做为你的主键,然而并无太多的数据,那么,PROCEDURE ANALYSE()会建议你把这个字段的类型改为MEDIUMINT。或是你使用了一个VARCHAR字段,由于数据很少,你可能会获得一个让你把它改为ENUM的建议。这些建议,都是可能由于数据不够多,因此决策作得就不够准。

在phpmyadmin里,你能够在查看表时,点击“Propose table structure”来查看这些建议

 

必定要注意,这些只是建议,只有当你的表里的数据愈来愈多时,这些建议才会变得准确。必定要记住,你才是最终作决定的人。

11.尽量的使用NOT NULL php程序员站

除非你有一个很特别的缘由去使用NULL值,你应该老是让你的字段保持NOT NULL。这看起来好像有点争议,请往下看。

首先,问问你本身“Empty”和“NULL”有多大的区别(若是是INT,那就是0和NULL)?若是你以为它们之间没有什么区别,那么你就不要使用NULL。(你知道吗?在Oracle里,NULL 和 Empty的字符串是同样的!)

不要觉得 NULL 不须要空间,其须要额外的空间,而且,在你进行比较的时候,你的程序会更复杂。固然,这里并非说你就不能使用NULL了,现实状况是很复杂的,依然会有些状况下,你须要使用NULL值。

下面摘自MySQL本身的文档:

 

12. Prepared Statements

Prepared Statements很像存储过程,是一种运行在后台的SQL语句集合,咱们能够从使用prepared statements得到不少好处,不管是性能问题仍是安全问题。

Prepared Statements能够检查一些你绑定好的变量,这样能够保护你的程序不会受到“SQL注入式”攻击。固然,你也能够手动地检查你的这些变量,然而,手动的检查容易出问题,并且很常常会被程序员忘了。当咱们使用一些framework或是ORM的时候,这样的问题会好一些。

在性能方面,当一个相同的查询被使用屡次的时候,这会为你带来可观的性能优点。你能够给这些Prepared Statements定义一些参数,而MySQL只会解析一次。

虽然最新版本的MySQL在传输Prepared Statements是使用二进制形势,因此这会使得网络传输很是有效率。

固然,也有一些状况下,咱们须要避免使用Prepared Statements,由于其不支持查询缓存。但听说版本5.1后支持了。 php程序员之家

在PHP中要使用prepared statements,你能够查看其使用手册:mysqli扩展或是使用数据库抽象层,如:PDO.

 

13.无缓冲的查询

正常的状况下,当你在当你在你的脚本中执行一个SQL语句的时候,你的程序会停在那里直到没这个SQL语句返回,而后你的程序再往下继续执行。你可使用无缓冲查询来改变这个行为。ww~phperz~com

关于这个事情,在PHP的文档中有一个很是不错的说明:mysql_unbuffered_query()函数:

 

上面那句话翻译过来是说,mysql_unbuffered_query()发送一个SQL语句到MySQL而并不像mysql_query()同样去自动fethch和缓存结果。这会至关节约不少可观的内存,尤为是那些会产生大量结果的查询语句,而且,你不须要等到全部的结果都返回,只须要第一行数据返回的时候,你就能够开始立刻开始工做于查询结果了。

然而,这会有一些限制。由于你要么把全部行都读走,或是你要在进行下一次的查询前调用 mysql_free_result() 清除结果。并且, mysql_num_rows() 或 mysql_data_seek() 将没法使用。因此,是否使用无缓冲的查询你须要仔细考虑。

14.把IP地址存成UNSIGNED INT

不少程序员都会建立一个VARCHAR(15) 字段来存放字符串形式的IP而不是整形的IP。若是你用整形来存放,只须要4个字节,而且你能够有定长的字段。并且,这会为你带来查询上的优点,尤为是当你须要使用这样的WHERE条件:IP between ip1 and ip2。

咱们必须要使用UNSIGNED INT,由于IP地址会使用整个32位的无符号整形。

而你的查询,你可使用 INET_ATON()来把一个字符串IP转成一个整形,并使用INET_NTOA()把一个整形转成一个字符串IP。在PHP中,也有这样的函数 ip2long()和long2ip()。

perz.com

15.固定长度的表会更快

若是表中的全部字段都是“固定长度”的,整个表会被认为是 “static” 或 “fixed-length”。 例如,表中没有以下类型的字段: VARCHAR,TEXT,BLOB。只要你包括了其中一个这些字段,那么这个表就不是“固定长度静态表”了,这样,MySQL 引擎会用另外一种方法来处理。

固定长度的表会提升性能,由于MySQL搜寻得会更快一些,由于这些固定的长度是很容易计算下一个数据的偏移量的,因此读取的天然也会很快。而若是字段不是定长的,那么,每一次要找下一条的话,须要程序找到主键。

而且,固定长度的表也更容易被缓存和重建。不过,惟一的反作用是,固定长度的字段会浪费一些空间,由于定长的字段不管你用不用,他都是要分配那么多的空间。 php程序员站

使用“垂直分割”技术(见下一条),你能够分割你的表成为两个一个是定长的,一个则是不定长的。

16.垂直分割

“垂直分割”是一种把数据库中的表按列变成几张表的方法,这样能够下降表的复杂度和字段的数目,从而达到优化的目的。(之前,在银行作过项目,见过一张表有100多个字段,很恐怖)

示例一:在Users表中有一个字段是家庭地址,这个字段是可选字段,相比起,并且你在数据库操做的时候除了我的信息外,你并不须要常常读取或是改写这个字段。那么,为何不把他放到另一张表中呢?这样会让你的表有更好的性能,你们想一想是否是,大量的时候,我对于用户表来讲,只有用户ID,用户名,口令,用户角色等会被常用。小一点的表老是会有好的性能。

示例二:你有一个叫“last_login”的字段,它会在每次用户登陆时被更新。可是,每次更新时会致使该表的查询缓存被清空。因此,你能够把这个字段放到另外一个表中,这样就不会影响你对用户ID,用户名,用户角色的不停地读取了,由于查询缓存会帮你增长不少性能。hp程序员之家

另外,你须要注意的是,这些被分出去的字段所造成的表,你不会常常性地去Join他们,否则的话,这样的性能会比不分割时还要差,并且,会是极数级的降低。 php程

17.拆分大的DELETE或INSERT语句

若是你须要在一个在线的网站上去执行一个大的DELETE或INSERT查询,你须要很是当心,要避免你的操做让你的整个网站中止相应。由于这两个操做是会锁表的,表一锁住了,别的操做都进不来了。

Apache会有不少的子进程或线程。因此,其工做起来至关有效率,而咱们的服务器也不但愿有太多的子进程,线程和数据库连接,这是极大的占服务器资源的事情,尤为是内存。

若是你把你的表锁上一段时间,好比30秒钟,那么对于一个有很高访问量的站点来讲,这30秒所积累的访问进程/线程,数据库连接,打开的文件数,可能不只仅会让你泊WEB服务Crash,还可能会让你的整台服务器立刻掛了。

因此,若是你有一个大的处理,你定你必定把其拆分,使用LIMIT条件是一个好的方法。下面是一个示例:

 

18.越小的列会越快

对于大多数的数据库引擎来讲,硬盘操做多是最重大的瓶颈。因此,把你的数据变得紧凑会对这种状况很是有帮助,由于这减小了对硬盘的访问。

参看MySQL的文档Storage Requirements查看全部的数据类型。p程序员站

若是一个表只会有几列罢了(好比说字典表,配置表),那么,咱们就没有理由使用INT来作主键,使用MEDIUMINT,SMALLINT或是更小的TINYINT会更经济一些。若是你不须要记录时间,使用DATE要比DATETIME好得多。

固然,你也须要留够足够的扩展空间,否则,你往后来干这个事,你会死的很难看,参看Slashdot的例子(2009年11月06日),一个简单的ALTER TABLE语句花了3个多小时,由于里面有一千六百万条数据。 perz~com

19.选择正确的存储引擎

在MySQL中有两个存储引擎MyISAM和InnoDB,每一个引擎都有利有弊。酷壳之前文章《MySQL: InnoDB 仍是 MyISAM?》讨论和这个事情。hp程序员之家

MyISAM适合于一些须要大量查询的应用,但其对于有大量写操做并非很好。甚至你只是须要update一个字段,整个表都会被锁起来,而别的进程,就算是读进程都没法操做直到读操做完成。另外,MyISAM对于 SELECT COUNT(*) 这类的计算是超快无比的。 www~phperz~com

InnoDB的趋势会是一个很是复杂的存储引擎,对于一些小的应用,它会比 MyISAM还慢。他是它支持“行锁” ,因而在写操做比较多的时候,会更优秀。而且,他还支持更多的高级应用,好比:事务。

下面是MySQL的手册

  • target=”_blank”MyISAM Storage Engine
  • InnoDB Storage Engine

20.使用一个对象关系映射器(Object Relational Mapper)

使用 ORM (Object Relational Mapper),你可以得到可靠的性能增涨。一个ORM能够作的全部事情,也能被手动的编写出来。可是,这须要一个高级专家。 phperz~com

ORM的最重要的是“Lazy Loading”,也就是说,只有在须要的去取值的时候才会去真正的去作。但你也须要当心这种机制的反作用,由于这颇有可能会由于要去建立不少不少小的查询反而会下降性能。hperz.com

ORM还能够把你的SQL语句打包成一个事务,这会比单独执行他们快得多得多。

目前,我的最喜欢的PHP的ORM是:Doctrine。

21.当心“永久连接”

“永久连接”的目的是用来减小从新建立MySQL连接的次数。当一个连接被建立了,它会永远处在链接的状态,就算是数据库操做已经结束了。并且,自从咱们的Apache开始重用它的子进程后——也就是说,下一次的HTTP请求会重用Apache的子进程,并重用相同的MySQL连接。

PHP手册:mysql_pconnect()

在理论上来讲,这听起来很是的不错。可是从我的经验(也是大多数人的)上来讲,这个功能制造出来的麻烦事更多。由于,你只有有限的连接数,内存问题,文件句柄数,等等。

并且,Apache运行在极端并行的环境中,会建立不少不少的了进程。这就是为何这种“永久连接”的机制工做地很差的缘由。在你决定要使用“永久连接”以前,你须要好好地考虑一下你的整个系统的架构

相关文章
相关标签/搜索