在参与实际项目中,当 MySQL 表的数据量达到百万级时,普通的 SQL 查询效率呈直线降低,并且若是 where 中的查询条件较多时,其查询速度没法容忍。想一想可知,假如咱们查询淘宝的一个订单详情,若是查询时间高达几十秒,这么高的查询延时,任何用户都会抓狂。所以如何提升 SQL 语句查询效率,显得十分重要。sql
查询速度慢的缘由网络
一、没有索引或者没有用到索引(这是查询慢最多见的问题,是程序设计的缺陷)并发
二、I/O 吞吐量小,造成了瓶颈效应。函数
三、没有建立计算列致使查询不优化。性能
四、内存不足大数据
五、网络速度慢优化
六、查询出的数据量过大(可采用屡次查询,其余的方法下降数据量)spa
七、锁或者死锁(这是查询慢最多见的问题,是程序设计的缺陷).net
八、sp_lock,sp_who,活动的用户查看,缘由是读写竞争资源。设计
九、返回了没必要要的行和列
十、查询语句很差,没有优化
30 种 SQL 查询语句的优化方法:
一、应尽可能避免在 where 子句中使用 != 或者 <> 操做符,不然将引擎放弃使用索引而进行全表扫描。
二、应尽可能避免在 where 子句中对字段进行 null 值判断,不然将致使引擎放弃使用索引而进行全表扫描,如:
select id from t where num is null;
能够在 num 上设置默认值 0 ,确保表中 num 列没有 null 值,而后这样查询:
select id from t where num = 0;
三、对查询进行优化,应尽可能避免全表扫描,首先应考虑在 where 及 order by 涉及的列上创建索引。
四、尽可能避免在 where 子句中使用 or 来链接条件,不然将致使引擎放弃使用索引而进行全表扫描,如:
select id from t where num = 10 or num = 20;
能够这样查询:
select id from t where num = 10 union all select id from t where num = 20;
五、下面的查询也将致使全表扫描:(不能前置百分号) 1 select id from t where name like '%abc%'; 若要提升效率,能够考虑全文检索。
六、in 和 not in 也要慎用,不然会致使全表扫描,如: select id from t where num in(1, 2, 3);
对于连续的数值,能用 between 就不要用 in 了: select id from t where num between 1 and 3;
select xx,phone FROM send a JOIN ( select '13891030091' phone union select '13992085916' ………… UNION SELECT '13619100234' ) b on a.Phone=b.phone --替代下面 不少数据隔开的时候 in('13891030091','13992085916','13619100234'…………)
七、若是在 where 子句中使用参数,也会致使全表扫描。由于 SQL 只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择到运行时;它必须在编译时进行选择。然而,若是在编译时简历访问计划,变量的值仍是未知的,于是没法做为索引选择的输入项。
以下面语句将进行全表扫描: select id from t where num = @num; 能够改成强制查询使用索引: select id from t with(index(索引名)) where num = @num;
八、应尽可能避免在 where 子句中对字段进行表达式操做,这将致使引擎放弃使用索引而进行全表扫描。如: select id from t where num/2 = 100;
应改成:
select id from t where num = 100 * 2;
九、应尽可能避免在 where 子句中对字段进行函数操做,这将致使引擎放弃使用索引而进行全表扫描。如: select id from t where substring(name, 1, 3) = ’abc’–name; //以abc开头的id select id from t where datediff(day,createdate,’2005-11-30′) = 0–’2005-11-30′; //生成的id 应改成: 1 2 select id from t where name like ‘abc%’ select id from t where createdate >= ’2005-11-30′ and createdate < ’2005-12-1′;
十、不要在 where 子句中的 “=” 左边进行函数,算术运算或者其余表达式运算,不然系统将可能没法正确使用索引。
十一、在使用索引字段做为条件时,若是该索引是复合索引,那么必须使用到该索引的第一个字段做为条件时才能保证系统使用该索引,不然该索引将不会被使用,而且应尽量的让字段顺序与索引顺序相一致。 十二、不要些一些没有意义的查询,如须要生成一个空表结构: select col1,col2 into #t from t where 1=0; 这类代码不会返回任何结果集,可是会消耗系统资源的,应改为这样: 1 create table #t(…)
1三、不少时候用 exists 代替 in 是一个好的选择:
select num from a where num in(select num from b);
用下面的语句替换:
select num from a where exists(select 1 from b where num=a.num);
1四、并非全部索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即便在sex上建了索引也对查询效率起不了做用。
1五、索引并非越多越好,索引当然能够提升相应的 select 的效率,但同时也下降了 insert 及 update 的效率,由于 insert 或 update 时有可能会重建索引,因此怎样建索引须要慎重考虑,视具体状况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。
1六、应尽量的避免更新 clustered 索引数据列,由于 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将致使整个表记录的顺序的调整,会耗费至关大的资源。若应用系统须要频繁更新 clustered 索引数据列,那么须要考虑是否应将该索引建为 clustered 索引。
1七、尽可能使用数字型字段,若只含数值信息的字段尽可能不要设计为字符型,这会下降查询和链接的性能,并会增长存储开销。这是由于引擎在处理查询和链接时会 逐个比较字符串中每个字符,而对于数字型而言只须要比较一次就够了。
1八、尽量的使用 varchar/nvarchar 代替 char/nchar ,由于首先变长字段存储空间小,能够节省存储空间,其次对于查询来讲,在一个相对较小的字段内搜索效率显然要高些。
1九、任何地方都不要使用 select * from t ,用具体的字段列表代替 *,不要返回用不到的任何字段。
20、尽可能使用表变量来代替临时表。若是表变量包含大量数据,请注意索引很是有限(只有主键索引)。 2一、避免频繁建立和删除临时表,以减小系统表资源的消耗。
2二、临时表并非不可以使用,适当地使用它们可使某些例程更有效,例如,当须要重复引用大型表或经常使用表中的某个数据集时。可是,对于一次性事件,最好使用导出表。
2三、在新建临时表时,若是一次性插入数据量很大,那么可使用 select into 代替 create table,避免形成大量 log ,以提升速度;若是数据量不大,为了缓和系统表的资源,应先 create table,而后 insert。 2四、若是使用到了临时表,在存储过程的最后务必将全部的临时表显式删除,先 truncate table ,而后 drop table ,这样能够避免系统表的较长时间锁定。
2五、尽可能避免使用游标,由于游标的效率较差,若是游标操做的数据超过1万行,那么就应该考虑改写。 2六、使用基于游标的方法或临时表方法以前,应先寻找基于集的解决方案来解决问题,基于集的方法一般更有效。
2七、与临时表同样,游标并非不可以使用。对小型数据集使用 FAST_FORWARD 游标一般要优于其余逐行处理方法,尤为是在必须引用几个表才能得到所需的数据时。在结果集中包括“合计”的例程一般要比使用游标执行的速度快。若是开发时 间容许,基于游标的方法和基于集的方法均可以尝试一下,看哪种方法的效果更好。
2八、在全部的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每一个语句后向客户端发送 DONE_IN_PROC 消息。
2九、尽可能避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。
30、尽可能避免大事务操做,提升系统并发能力。
3一、当只须要一条数据的时候,使用limit 1,这是为了使EXPLAIN中type列达到const类型。
3二、尽可能用union all代替union
union和union all的差别主要是前者须要将结果集合并后再进行惟一性过滤操做,这就会涉及到排序,增长大量的CPU运算,加大资源消耗及延迟。固然,union all的前提条件是两个结果集没有重复数据。
3三、使用合理的分页方式以提升分页的效率
select id,name from product limit 866613, 20
使用上述sql语句作分页的时候,可能有人会发现,随着表数据量的增长,直接使用limit分页查询会愈来愈慢。
优化的方法以下:能够取前一页的最大行数的id,而后根据这个最大的id来限制下一页的起点。好比此列中,上一页最大的id是866612。sql能够采用以下的写法:
select id,name from product where id> 866612 limit 20
3四、不建议使用%前缀模糊查询
例如LIKE “%name”或者LIKE “%name%”,这种查询会致使索引失效而进行全表扫描。可是可使用LIKE “name%”。
那如何查询%name%?
虽然给secret字段添加了索引,但在explain结果果并无使用。
解决:
在咱们查询中常常会用到select id,fnum,fdst from dynamic_201606 where user_name like '%zhangsan%'; 。这样的语句,普通索引是没法知足查询需求的。庆幸的是在MySQL中,有全文索引来帮助咱们。
建立全文索引的sql语法是:
ALTER TABLE `dynamic_201606` ADD FULLTEXT INDEX `idx_user_name` (`user_name`);
使用全文索引的sql语句是:
select id,fnum,fdst from dynamic_201606 where match(user_name) against('zhangsan' in boolean mode);