SQL优化之SELECT COUNT(*)

前言

SQL优化之SQL 进阶技巧（上） SQL优化之SQL 进阶技巧（下）中提到使用如下 sql 会致使慢查询

SELECT COUNT(*) FROM SomeTable
SELECT COUNT(1) FROM SomeTable

缘由是会形成全表扫描，有位读者说这种说法是有问题的，实际上针对无 where_clause 的 COUNT(*)，MySQL 是有优化的，优化器会选择成本最小的辅助索引查询计数，其实反而性能最高，这位读者的说法对不对呢

针对这个疑问，我首先去生产上找了一个千万级别的表使用  EXPLAIN 来查询了一下执行计划

EXPLAIN SELECT COUNT(*) FROM SomeTable

结果以下

如图所示: 发现确实此条语句在此例中用到的并非主键索引，而是辅助索引，实际上在此例中我试验了，不论是 COUNT(1)，仍是 COUNT(*)，MySQL 都会用成本最小的辅助索引查询方式来计数，也就是使用 COUNT(*) 因为 MySQL 的优化已经保证了它的查询性能是最好的！随带提一句，COUNT(*)是 SQL92 定义的标准统计行数的语法，而且效率高，因此请直接使用COUNT(*)查询表的行数！

因此这位读者的说法确实是对的。但有个前提，在 MySQL 5.6 以后的版本中才有这种优化。

那么这个成本最小该怎么定义呢，有时候在 WHERE 中指定了多个条件，为啥最终 MySQL 执行的时候却选择了另外一个索引，甚至不选索引？

本文将会给你答案，本文将会从如下两方面来分析

• SQL 选用索引的执行成本如何计算
• 实例说明

SQL 选用索引的执行成本如何计算

就如前文所述，在有多个索引的状况下， 在查询数据前，MySQL 会选择成本最小原则来选择使用对应的索引，这里的成本主要包含两个方面。

• IO 成本: 即从磁盘把数据加载到内存的成本，默认状况下，读取数据页的 IO 成本是 1，MySQL 是以页的形式读取数据的，即当用到某个数据时，并不会只读取这个数据，而会把这个数据相邻的数据也一块儿读到内存中，这就是有名的程序局部性原理，因此 MySQL 每次会读取一整页，一页的成本就是 1。因此 IO 的成本主要和页的大小有关
• CPU 成本：将数据读入内存后，还要检测数据是否知足条件和排序等 CPU 操做的成本，显然它与行数有关，默认状况下，检测记录的成本是 0.2。

实例说明

为了根据以上两个成原本算出使用索引的最终成本，咱们先准备一个表（如下操做基于 MySQL 5.7.18）

CREATE TABLE person (
   id bigint(20) NOT NULL AUTO_INCREMENT,
   name varchar(255) NOT NULL,
   score int(11) NOT NULL,
   create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
   PRIMARY KEY (id),
   KEY name_score (name(191),score),
   KEY create_time (create_time)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
personidnamescorecreate_timeidname_scorenamescorecreate_timecreate_time

这个表除了主键索引以外，还有另外两个索引, name_score 及 create_time。而后咱们在此表中插入 10 w 行数据，只要写一个存储过程调用便可，以下:

CREATE PROCEDURE insert_person()
 begin
 declare c_id integer default 1;
     while c_id<=100000 do
 insert into person values(c_id, concat('name',c_id), c_id+100, date_sub(NOW(), interval c_id second));
 set c_id=c_id+1;
 end while;
 end

插入以后咱们如今使用 EXPLAIN 来计算下统计总行数到底使用的是哪一个索引

EXPLAIN SELECT COUNT(*) FROM person

从结果上看它选择了 create_time 辅助索引，显然 MySQL 认为使用此索引进行查询成本最小，这也是符合咱们的预期，使用辅助索引来查询确实是性能最高的！

咱们再来看如下 SQL 会使用哪一个索引

SELECT * FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'

用了全表扫描！理论上应该用 name_score 或者 create_time 索引才对，从 WHERE 的查询条件来看确实都能命中索引，那是不是使用 SELECT * 形成的回表代价太大所致呢，咱们改为覆盖索引的形式试一下

SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18'

结果 MySQL 依然选择了全表扫描！这就比较有意思了，理论上采用了覆盖索引的方式进行查找性能确定是比全表扫描更好的，为啥 MySQL 选择了全表扫描呢，既然它认为全表扫描比使用覆盖索引的形式性能更好，那咱们分别用这二者执行来比较下查询时间吧

-- 全表扫描执行时间: 4.0 ms
 SELECT create_time FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'
-- 使用覆盖索引执行时间: 2.0 ms
 SELECT create_time FROM person force index(create_time) WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18' 

从实际执行的效果看使用覆盖索引查询比使用全表扫描执行的时间快了一倍！说明 MySQL 在查询前作的成本估算不许！咱们先来看看 MySQL 作全表扫描的成本有多少。

前面咱们说了成本主要 IO 成本和 CPU 成本有关，对于全表扫描来讲也就是分别和聚簇索引占用的页面数和表中的记录数。执行如下命令

SHOW TABLE STATUS LIKE 'person'

能够发现

1. 行数是 100264，咱们不是插入了 10 w 行的数据了吗，怎么算出的数据反而多了，其实这里的计算是估算，也有可能这里的行数统计出来比 10 w 少了，估算方式有兴趣你们去网上查找，这里不是本文重点，就不展开了。得知行数，那咱们知道 CPU 成本是 100264 * 0.2 = 20052.8。

2. 数据长度是 5783552，InnoDB 每一个页面的大小是 16 KB，能够算出页面数量是 353。

也就是说全表扫描的成本是 20052.8 + 353 =  20406。

这个结果对不对呢，咱们能够用一个工具验证一下。在 MySQL 5.6 及以后的版本中，咱们能够用 optimizer trace 功能来查看优化器生成计划的整个过程 ，它列出了选择每一个索引的执行计划成本以及最终的选择结果，咱们能够依赖这些信息来进一步优化咱们的 SQL。

optimizer_trace 功能使用以下

SET optimizer_trace="enabled=on";
SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18';
SELECT * FROM information_schema.OPTIMIZER_TRACE;
SET optimizer_trace="enabled=off";

执行以后咱们主要观察使用 name_score，create_time 索引及全表扫描的成本。

先来看下使用 name_score 索引执行的的预估执行成本:

{
 "index": "name_score",
 "ranges": [
 "name84059 <= name"
     ],
 "index_dives_for_eq_ranges": true,
 "rows": 25372,
 "cost": 30447
 }

能够看到执行成本为 30447，高于咱们以前算出来的全表扫描成本：20406。因此没选择此索引执行

注意：这里的 30447 是查询二级索引的 IO 成本和 CPU 成本之和，再加上回表查询聚簇索引的 IO 成本和 CPU 成本之和。

再来看下使用 create_time 索引执行的的预估执行成本:

{
    "index": "create_time",
    "ranges": [
      "0x5ec8c516 < create_time"
    ],
    "index_dives_for_eq_ranges": true,
    "rows": 50132,
    "cost": 60159,
    "cause": "cost"
}

能够看到成本是 60159,远大于全表扫描成本 20406，天然也没选择此索引。

再来看计算出的全表扫描成本：

{
    "considered_execution_plans": [
      {
        "plan_prefix": [
        ],
        "table": "`person`",
        "best_access_path": {
          "considered_access_paths": [
            {
              "rows_to_scan": 100264,
              "access_type": "scan",
              "resulting_rows": 100264,
              "cost": 20406,
              "chosen": true
            }
          ]
        },
        "condition_filtering_pct": 100,
        "rows_for_plan": 100264,
        "cost_for_plan": 20406,
        "chosen": true
      }
    ]
}

 

注意看 cost：20406，与咱们以前算出来的彻底同样！这个值在以上三者算出的执行成本中最小，因此最终 MySQL 选择了用全表扫描的方式来执行此 SQL。

实际上 optimizer trace 详细列出了覆盖索引，回表的成本统计状况，有兴趣的能够去研究一下。

从以上分析能够看出， MySQL 选择的执行计划未必是最佳的，缘由有挺多，就好比上文说的行数统计信息不许，再好比 MySQL 认为的最优跟咱们认为不同，咱们能够认为执行时间短的是最优的，但 MySQL 认为的成本小未必意味着执行时间短。

总结

本文经过一个例子深刻剖析了 MySQL 的执行计划是如何选择的，以及为何它的选择未必是咱们认为的最优的，这也提醒咱们，在生产中若是有多个索引的状况，使用 WHERE 进行过滤未必会选中你认为的索引，咱们能够提早使用  EXPLAIN, optimizer trace 来优化咱们的查询语句。

相关文章

SQL优化之SQL 进阶技巧（上）

SQL优化之SQL 进阶技巧（下）