浅谈mysql配置优化和sql语句优化

    作优化，我在这里引用淘宝系统分析师蒋江伟的一句话：只有敢于承担，才能让人有勇气，有承担本身的错误的勇气。有承担错误的勇气，就有去作事得勇气。不管作什么事，只要是对的，就要去作，勇敢去作。出了错误，承担错误，改正错误，这样的人没有人会去责怪。

    好久以前就想写一篇关于mysql优化方面的文章了，忙于工做，在着也比较懒散。如今网上mysql优化方面的帖子不少，也不乏精品。很早听一DBA前辈说过:mysql的优化，三分配置的优化，七分sql语句的优化。以前不是很理解，但接触到高并发大数据的时候，这句话的含义尤其突出，甚至能够说一分配置的优化，九分语句的优化。

mysql的优化，通常分为配置的优化、sql语句的优化、表结构的优化、索引的优化，这里着重说前两点。

 

1、配置的优化

    配置的优化其实包含两个方面的：操做系统内核的优化和mysql配置文件的优化

    1、系统内核的优化对专用的mysql服务器来讲，无非是内存实用、链接数、超时处理、TCP处理等方面的优化，根据本身的硬件配置来进行优化，这里很少讲；

    2、mysql配置的优化，通常来讲包含：IO处理的经常使用参数、最大链接数设置、缓存使用参数的设置、慢日志的参数的设置、innodb相关参数的设置等，若是有主从关系在设置主从同步的相关参数便可，网上的相关配置文件不少，大同小异，经常使用的设置大多修改这些差很少就够用了。

 

如下是个人一个mysql配置文件，仅供参考：

###############################################

[mysqld]

skip-name-resolve

server-id = 1

bind-address = 0.0.0.0

port = 3306

datadir = /home/mysql

tmpdir = /tmp

 

default_storage_engine = InnoDB

character_set_server = utf8

 

innodb_file_per_table = 1

innodb_log_file_size = 512M

innodb_log_files_in_group = 4

innodb_rollback_on_timeout = 1

 

slow_query_log = 1

slow_query_log_file =/var/log/mysql/mysql-slow.log

long_query_time = 1

#log-queries-not-using-indexes#这个参数不安全，说是记录没有用到索引的语句，其实记录的所有的日志，占用大量的IO，建议不要打开

 

 

#relay_log_recovery=1#这个参数在丛库上必定要加上

 

query_cache_type = off

query_cache_size = 0

#这两项是禁用缓存，这个使服务器用途而定：写比较多的数据库最好禁用，由于没写一次他要修改缓存中的数据，给数据库带来额外的开销，读比较的能够开启，能够提升查询效率

 

#一下4个参数是mysql5.6上的新特性

innodb_buffer_pool_dump_at_shutdown = 1 #解释：在关闭时把热数据dump到本地磁盘。

innodb_buffer_pool_dump_now = 1 #解释：采用手工方式把热数据dump到本地磁盘。

innodb_buffer_pool_load_at_startup = 1 #解释：在启动时把热数据加载到内存。

innodb_buffer_pool_load_now = 1 #解释：采用手工方式把热数据加载到内存。

 

read_buffer_size = 2M

sort_buffer_size = 2M

join_buffer_size = 1M

key_buffer_size = 2G 

 

thread_cache_size = 2048

open_files_limit=65535

innodb_open_files = 8192

 

max_allowed_packet = 64M

thread_stack = 512k

max_length_for_sort_data = 16k

tmp_table_size = 256M

max_heap_table_size = 256M

 

max_connections = 4000      

max_connect_errors = 30000

 

innodb_read_io_threads = 8

innodb_write_io_threads = 16

innodb_flush_method = O_DIRECT

innodb_io_capacity = 20000#根据硬盘的状况修改，stat的用100，sas的200，sas作riad10的为400fision-io的能够设置为20000

 

innodb_buffer_pool_size = 72G#内存的80%

innodb_buffer_pool_instances=18

 

thread_concurrency=0

innodb_thread_concurrency = 0

innodb_log_buffer_size = 16M

innodb_flush_log_at_trx_commit = 2

innodb_lock_wait_timeout = 60

 

innodb_old_blocks_time=1000

innodb_use_native_aio = 1

innodb_purge_threads=1

innodb_change_buffering=inserts

##############################################

 

2、sql语句的优化

    前期的配置优化作完，其实在很长的一段时间内，基本上不用在去优化了。而一条sql使用不当，导致整个数据库故障的状况相信作DBA的常常遇到。因此，sql语句的优化和审核才是每一个DBA的重中之重。

sql语句的优化，通常的基本原则有如下几个方面：

 

一、  尽可能稍做计算

Mysql的做用是用来存取数据的，不是作计算的，作计算的话能够用其余方法去实现，mysql作计算是很耗资源的。

 

2.尽可能少 join

 

MySQL 的优点在于简单，但这在某些方面其实也是其劣势。MySQL 优化器效率高，可是因为其统计信息的量有限，优化器工做过程出现误差的可能性也就更多。对于复杂的多表 Join，一方面因为其优化器受限，再者在 Join 这方面所下的功夫还不够，因此性能表现离 Oracle 等关系型数据库前辈仍是有必定距离。但若是是简单的单表查询，这一差距就会极小甚至在有些场景下要优于这些数据库前辈。

 

3.尽可能少排序

 

　　排序操做会消耗较多的 CPU 资源，因此减小排序能够在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。

　　对于MySQL来讲，减小排序有多种办法，好比：

　　经过利用索引来排序的方式进行优化

　　减小参与排序的记录条数

　　非必要不对数据进行排序

 

4.尽可能避免 select *

 

　　在数据量少而且访问量不大的状况下，select * 没有什么影响，可是量级达到必定级别的时候，在执行效率和IO资源的使用上，仍是有很大关系的，用什么字段取什么字段，减小没必要要的资源浪费。

    以前遇到过由于一个字段存储的数据比较大，并发高的状况下把网络带宽跑满的状况，形成网站打不开或是打开速度极慢的状况。

 

5.尽可能用 join 代替子查询

 

　　虽然 Join 性能并不佳，可是和 MySQL 的子查询比起来仍是有很是大的性能优点。MySQL 的子查询执行计划一直存在较大的问题，虽然这个问题已经存在多年，可是到目前已经发布的全部稳定版本中都广泛存在，一直没有太大改善。虽然官方也在很早就认可这一问题，而且承诺尽快解决，可是至少到目前为止咱们尚未看到哪个版本较好的解决了这一问题。

 

6.尽可能少 or

 

　　当 where 子句中存在多个条件以“或”并存的时候，MySQL 的优化器并无很好的解决其执行计划优化问题，再加上 MySQL 特有的 SQL 与 Storage 分层架构方式，形成了其性能比较低下，不少时候使用 union all 或者是union(必要的时候)的方式来代替“or”会获得更好的效果。

 

7.尽可能用 union all 代替 union

 

union 和 union all 的差别主要是前者须要将两个(或者多个)结果集合并后再进行惟一性过滤操做，这就会涉及到排序，增长大量的 CPU 运算，加大资源消耗及延迟。因此当咱们能够确认不可能出现重复结果集或者不在意重复结果集的时候，尽可能使用 union all 而不是 union。

 

8.尽可能早过滤

 

　　这一优化策略其实最多见于索引的优化设计中(将过滤性更好的字段放得更靠前)。

 

　　在 SQL 编写中一样可使用这一原则来优化一些 Join 的 SQL。好比咱们在多个表进行分页数据查询的时候，咱们最好是可以在一个表上先过滤好数据分好页，而后再用分好页的结果集与另外的表 Join，这样能够尽量多的减小没必要要的 IO 操做，大大节省 IO 操做所消耗的时间。

 

9.避免类型转换

 

　　这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换：

A:人为在column_name 上经过转换函数进行转换

　　直接致使 MySQL(实际上其余数据库也会有一样的问题)没法使用索引，若是非要转换，应该在传入的参数上进行转换

B:由数据库本身进行转换

　　若是咱们传入的数据类型和字段类型不一致，同时咱们又没有作任何类型转换处理，MySQL 可能会本身对咱们的数据进行类型转换操做，也可能不进行处理而交由存储引擎去处理，这样一来，就会出现索引没法使用的状况而形成执行计划问题。

    以上两种状况在开发者由于某种缘由常常会有，原本能够用到索引的结果类型不对没有用到索引，或是由于类型不对又有越界的状况发生形成没法使用索引的状况，结果形成很严重的事故。

 

10.优先优化高并发的 SQL，而不是执行频率低某些“大”SQL

 

　　对于破坏性来讲，高并发的 SQL 老是会比低频率的来得大，由于高并发的 SQL 一旦出现问题，甚至不会给咱们任何喘息的机会就会将系统压跨。而对于一些虽然须要消耗大量 IO 并且响应很慢的 SQL，因为频率低，即便遇到，最多就是让整个系统响应慢一点，但至少可能撑一下子，让咱们有缓冲的机会。

 

11.从全局出发优化，而不是片面调整

 

SQL 优化不能是单独针对某一个进行，而应充分考虑系统中全部的 SQL，尤为是在经过调整索引优化 SQL 的执行计划的时候，千万不能顾此失彼，因小失大。

 

12.尽量对每一条运行在数据库中的SQL进行 explain

 

优化 SQL，须要作到心中有数，知道SQL 的执行计划才能判断是否有优化余地，才能判断是否存在执行计划问题。在对数据库中运行的 SQL 进行了一段时间的优化以后，很明显的问题 SQL 可能已经不多了，大多都须要去发掘，这时候就须要进行大量的 explain 操做收集执行计划，并判断是否须要进行优化。

 

题外话：不少刚接触mysql的朋友问，有什么mysql专业书籍推荐?我推荐《MySQL高性能》第三版，是mysql 领域的经典之做，拥有普遍的影响力，涵盖的知识面也比较面，一本在手，基础知识无忧，其余须要在实战中积累经验了，本人也是此书的受益者。