SQL语句执行顺序

　　SQL 不一样于与其余编程语言的最明显特征是处理代码的顺序。在大数编程语言中，代码按编码顺序被处理，可是在SQL语言中，第一个被处理的子句是FROM子句，尽管SELECT语句第一个出现，可是几乎老是最后被处理。

      每一个步骤都会产生一个虚拟表，该虚拟表被用做下一个步骤的输入。这些虚拟表对调用者（客户端应用程序或者外部查询）不可用。只是最后一步生成的表才会返回 给调用者。若是没有在查询中指定某一子句，将跳过相应的步骤。

先来一段伪代码，首先你能看懂么？

SELECT DISTINCT <select_list>
FROM <left_table>
<join_type> JOIN <right_table>
ON <join_condition>
WHERE <where_condition>
GROUP BY <group_by_list>
HAVING <having_condition>
ORDER BY <order_by_condition>
LIMIT <limit_number>

若是你知道每一个关键字的意思，做用，若是你还用过的话，那再好不过了。可是，你知道这些语句，它们的执行顺序你清楚么？

准备工做

首先声明下，一切测试操做都是在MySQL数据库上完成，关于MySQL数据库的一些简单操做，请阅读一下文章：

• 《MySQL扫盲篇》
• 《MySQL存储引擎介绍》
• 《MySQL数据类型和属性》
• 《MySQL处理数据库和表的经常使用命令》

继续作如下的前期准备工做：

一、新建一个测试数据库TestDB；

 create database TestDB;

二、建立测试表table1和table2；

CREATE TABLE table1
 (
     customer_id VARCHAR(10) NOT NULL,
     city VARCHAR(10) NOT NULL,
     PRIMARY KEY(customer_id)
 )ENGINE=INNODB DEFAULT CHARSET=UTF8;

 CREATE TABLE table2
 (
     order_id INT NOT NULL auto_increment,
     customer_id VARCHAR(10),
     PRIMARY KEY(order_id)
 )ENGINE=INNODB DEFAULT CHARSET=UTF8;

三、插入测试数据；

 INSERT INTO table1(customer_id,city) VALUES('163','hangzhou');
 INSERT INTO table1(customer_id,city) VALUES('9you','shanghai');
 INSERT INTO table1(customer_id,city) VALUES('tx','hangzhou');
 INSERT INTO table1(customer_id,city) VALUES('baidu','hangzhou');

 INSERT INTO table2(customer_id) VALUES('163');
 INSERT INTO table2(customer_id) VALUES('163');
 INSERT INTO table2(customer_id) VALUES('9you');
 INSERT INTO table2(customer_id) VALUES('9you');
 INSERT INTO table2(customer_id) VALUES('9you');
 INSERT INTO table2(customer_id) VALUES('tx');
 INSERT INTO table2(customer_id) VALUES(NULL);

准备工做作完之后，table1和table2看起来应该像下面这样：

 mysql> select * from table1;
 +-------------+----------+
 | customer_id | city     |
 +-------------+----------+
 | 163         | hangzhou |
 | 9you        | shanghai |
 | baidu       | hangzhou |
 | tx          | hangzhou |
 +-------------+----------+
 4 rows in set (0.00 sec)

 mysql> select * from table2;
 +----------+-------------+
 | order_id | customer_id |
 +----------+-------------+
 |        1 | 163         |
 |        2 | 163         |
 |        3 | 9you        |
 |        4 | 9you        |
 |        5 | 9you        |
 |        6 | tx          |
 |        7 | NULL        |
 +----------+-------------+
 7 rows in set (0.00 sec)

四、准备SQL逻辑查询测试语句

SELECT a.customer_id, COUNT(b.order_id) as total_orders
 FROM table1 AS a
 LEFT JOIN table2 AS b
 ON a.customer_id = b.customer_id
 WHERE a.city = 'hangzhou'
 GROUP BY a.customer_id
 HAVING count(b.order_id) < 2
 ORDER BY total_orders DESC;

使用上述SQL查询语句来得到来自杭州，而且订单数少于2的客户。

SQL逻辑查询语句执行顺序

还记得上面给出的那一长串的SQL逻辑查询规则么？那么，到底哪一个先执行，哪一个后执行呢？如今，我先给出一个查询语句的执行顺序：

(7)     SELECT 
(8)     DISTINCT <select_list>
(1)     FROM <left_table>
(3)     <join_type> JOIN <right_table>
(2)     ON <join_condition>
(4)     WHERE <where_condition>
(5)     GROUP BY <group_by_list>
(6)     HAVING <having_condition>
(9)     ORDER BY <order_by_condition>
(10)    LIMIT <limit_number>

上面在每条语句的前面都标明了执行顺序号，那么各条查询语句是如何执行的呢？

逻辑查询处理阶段简介

1. FROM：对FROM子句中的前两个表执行笛卡尔积（Cartesian product)(交叉联接），生成虚拟表VT1
2. ON：对VT1应用ON筛选器。只有那些使<join_condition>为真的行才被插入VT2。
3. OUTER(JOIN)：若是指定了OUTER JOIN（相对于CROSS JOIN 或(INNER JOIN),保留表（preserved table：左外部联接把左表标记为保留表，右外部联接把右表标记为保留表，彻底外部联接把两个表都标记为保留表）中未找到匹配的行将做为外部行添加到 VT2,生成VT3.若是FROM子句包含两个以上的表，则对上一个联接生成的结果表和下一个表重复执行步骤1到步骤3，直处处理完全部的表为止。
4. WHERE：对VT3应用WHERE筛选器。只有使<where_condition>为true的行才被插入VT4.
5. GROUP BY：按GROUP BY子句中的列列表对VT4中的行分组，生成VT5.
6. CUBE|ROLLUP：把超组(Suppergroups)插入VT5,生成VT6.
7. HAVING：对VT6应用HAVING筛选器。只有使<having_condition>为true的组才会被插入VT7.
8. SELECT：处理SELECT列表，产生VT8.
9. DISTINCT：将重复的行从VT8中移除，产生VT9.
10. ORDER BY：将VT9中的行按ORDER BY 子句中的列列表排序，生成游标（VC10).
11. TOP：从VC10的开始处选择指定数量或比例的行，生成表VT11,并返回调用者。

注：

笛卡尔积简单介绍：假设集合A={a, b}，集合B={0, 1, 2}，则两个集合的笛卡尔积为{(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)}。

步骤10，按ORDER BY子句中的列列表排序上步返回的行，返回游标VC10.这一步是第一步也是惟一一步可使用SELECT列表中的列别名的步骤。这一步不一样于其它步骤的 是，它不返回有效的表，而是返回一个游标。SQL是基于集合理论的。集合不会预先对它的行排序，它只是成员的逻辑集合，成员的顺序可有可无。对表进行排序 的查询能够返回一个对象，包含按特定物理顺序组织的行。ANSI把这种对象称为游标。理解这一步是正确理解SQL的基础。

由于这一步不返回表（而是返回游标），使用了ORDER BY子句的查询不能用做表表达式。表表达式包括：视图、内联表值函数、子查询、派生表和共用表达式。它的结果必须返回给指望获得物理记录的客户端应用程序。例如，下面的派生表查询无效，并产生一个错误：

select * 
from(select orderid,customerid from orders order by orderid) 
as d

下面的视图也会产生错误：

create view my_view
as
select *
from orders
order by orderid

在SQL中，表表达式中不容许使用带有ORDER BY子句的查询，而在T—SQL中却有一个例外（应用TOP选项）。

      因此要记住，不要为表中的行假设任何特定的顺序。换句话说，除非你肯定要有序行，不然不要指定ORDER BY 子句。排序是须要成本的。

# 执行FROM语句

在这些SQL语句的执行过程当中，都会产生一个虚拟表，用来保存SQL语句的执行结果（这是重点），我如今就来跟踪这个虚拟表的变化，获得最终的查询结果的过程，来分析整个SQL逻辑查询的执行顺序和过程。

第一步，执行FROM语句。咱们首先须要知道最开始从哪一个表开始的，这就是FROM告诉咱们的。如今有了<left_table>和<right_table>两个表，咱们到底从哪一个表开始，仍是从两个表进行某种联系之后再开始呢？它们之间如何产生联系呢？——笛卡尔积

关于什么是笛卡尔积，请自行Google补脑。通过FROM语句对两个表执行笛卡尔积，会获得一个虚拟表，暂且叫VT1（vitual table 1），内容以下：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 9you        | shanghai |        1 | 163         |
| baidu       | hangzhou |        1 | 163         |
| tx          | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        2 | 163         |
| baidu       | hangzhou |        2 | 163         |
| tx          | hangzhou |        2 | 163         |
| 163         | hangzhou |        3 | 9you        |
| 9you        | shanghai |        3 | 9you        |
| baidu       | hangzhou |        3 | 9you        |
| tx          | hangzhou |        3 | 9you        |
| 163         | hangzhou |        4 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| baidu       | hangzhou |        4 | 9you        |
| tx          | hangzhou |        4 | 9you        |
| 163         | hangzhou |        5 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| baidu       | hangzhou |        5 | 9you        |
| tx          | hangzhou |        5 | 9you        |
| 163         | hangzhou |        6 | tx          |
| 9you        | shanghai |        6 | tx          |
| baidu       | hangzhou |        6 | tx          |
| tx          | hangzhou |        6 | tx          |
| 163         | hangzhou |        7 | NULL        |
| 9you        | shanghai |        7 | NULL        |
| baidu       | hangzhou |        7 | NULL        |
| tx          | hangzhou |        7 | NULL        |
+-------------+----------+----------+-------------+

总共有28（table1的记录条数 * table2的记录条数）条记录。这就是VT1的结果，接下来的操做就在VT1的基础上进行。

# 执行ON过滤

执行完笛卡尔积之后，接着就进行ON a.customer_id = b.customer_id条件过滤，根据ON中指定的条件，去掉那些不符合条件的数据，获得VT2表，内容以下：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        3 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| tx          | hangzhou |        6 | tx          |
+-------------+----------+----------+-------------+

VT2就是通过ON条件筛选之后获得的有用数据，而接下来的操做将在VT2的基础上继续进行。

# 添加外部行

这一步只有在链接类型为OUTER JOIN时才发生，如LEFT OUTER JOIN、RIGHT OUTER JOIN和FULL OUTER JOIN。在大多数的时候，咱们都是会省略掉OUTER关键字的，但OUTER表示的就是外部行的概念。

LEFT OUTER JOIN把左表记为保留表，获得的结果为：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        3 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| tx          | hangzhou |        6 | tx          |
| baidu       | hangzhou |     NULL | NULL        |
+-------------+----------+----------+-------------+

RIGHT OUTER JOIN把右表记为保留表，获得的结果为：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        3 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| tx          | hangzhou |        6 | tx          |
| NULL        | NULL     |        7 | NULL        |
+-------------+----------+----------+-------------+

FULL OUTER JOIN把左右表都做为保留表，获得的结果为：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        3 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| tx          | hangzhou |        6 | tx          |
| baidu       | hangzhou |     NULL | NULL        |
| NULL        | NULL     |        7 | NULL        |
+-------------+----------+----------+-------------+

添加外部行的工做就是在VT2表的基础上添加保留表中被过滤条件过滤掉的数据，非保留表中的数据被赋予NULL值，最后生成虚拟表VT3。

因为我在准备的测试SQL查询逻辑语句中使用的是LEFT JOIN，过滤掉了如下这条数据：

| baidu       | hangzhou |     NULL | NULL        |

如今就把这条数据添加到VT2表中，获得的VT3表以下：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| 9you        | shanghai |        3 | 9you        |
| 9you        | shanghai |        4 | 9you        |
| 9you        | shanghai |        5 | 9you        |
| tx          | hangzhou |        6 | tx          |
| baidu       | hangzhou |     NULL | NULL        |
+-------------+----------+----------+-------------+

接下来的操做都会在该VT3表上进行。

# 执行WHERE过滤

对添加外部行获得的VT3进行WHERE过滤，只有符合<where_condition>的记录才会输出到虚拟表VT4中。当咱们执行WHERE a.city = 'hangzhou'的时候，就会获得如下内容，并存在虚拟表VT4中：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| 163         | hangzhou |        2 | 163         |
| tx          | hangzhou |        6 | tx          |
| baidu       | hangzhou |     NULL | NULL        |
+-------------+----------+----------+-------------+

可是在使用WHERE子句时，须要注意如下两点：

1. 因为数据尚未分组，所以如今还不能在WHERE过滤器中使用where_condition=MIN(col)这类对分组统计的过滤；
2. 因为尚未进行列的选取操做，所以在SELECT中使用列的别名也是不被容许的，如：SELECT city as c FROM t WHERE c='shanghai';是不容许出现的。

# 执行GROUP BY分组

GROU BY子句主要是对使用WHERE子句获得的虚拟表进行分组操做。咱们执行测试语句中的GROUP BY a.customer_id，就会获得如下内容：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| 163         | hangzhou |        1 | 163         |
| baidu       | hangzhou |     NULL | NULL        |
| tx          | hangzhou |        6 | tx          |
+-------------+----------+----------+-------------+

获得的内容会存入虚拟表VT5中，此时，咱们就获得了一个VT5虚拟表，接下来的操做都会在该表上完成。

# 执行HAVING过滤

HAVING子句主要和GROUP BY子句配合使用，对分组获得的VT5虚拟表进行条件过滤。当我执行测试语句中的HAVING count(b.order_id) < 2时，将获得如下内容：

+-------------+----------+----------+-------------+
| customer_id | city     | order_id | customer_id |
+-------------+----------+----------+-------------+
| baidu       | hangzhou |     NULL | NULL        |
| tx          | hangzhou |        6 | tx          |
+-------------+----------+----------+-------------+

这就是虚拟表VT6。

# SELECT列表

如今才会执行到SELECT子句，不要觉得SELECT子句被写在第一行，就是第一个被执行的。

咱们执行测试语句中的SELECT a.customer_id, COUNT(b.order_id) as total_orders，从虚拟表VT6中选择出咱们须要的内容。咱们将获得如下内容：

+-------------+--------------+
| customer_id | total_orders |
+-------------+--------------+
| baidu       |            0 |
| tx          |            1 |
+-------------+--------------+

不，尚未完，这只是虚拟表VT7。

# 执行DISTINCT子句

若是在查询中指定了DISTINCT子句，则会建立一张内存临时表（若是内存放不下，就须要存放在硬盘了）。这张临时表的表结构和上一步产生的虚拟表VT7是同样的，不一样的是对进行DISTINCT操做的列增长了一个惟一索引，以此来除重复数据。

因为个人测试SQL语句中并无使用DISTINCT，因此，在该查询中，这一步不会生成一个虚拟表。

# 执行ORDER BY子句

对虚拟表中的内容按照指定的列进行排序，而后返回一个新的虚拟表，咱们执行测试SQL语句中的ORDER BY total_orders DESC，就会获得如下内容：

+-------------+--------------+
| customer_id | total_orders |
+-------------+--------------+
| tx          |            1 |
| baidu       |            0 |
+-------------+--------------+

能够看到这是对total_orders列进行降序排列的。上述结果会存储在VT8中。

执行LIMIT子句

LIMIT子句从上一步获得的VT8虚拟表中选出从指定位置开始的指定行数据。对于没有应用ORDER BY的LIMIT子句，获得的结果一样是无序的，因此，不少时候，咱们都会看到LIMIT子句会和ORDER BY子句一块儿使用。

MySQL数据库的LIMIT支持以下形式的选择：

LIMIT n, m

表示从第n条记录开始选择m条记录。而不少开发人员喜欢使用该语句来解决分页问题。对于小数据，使用LIMIT子句没有任何问题，当数据量很是大的时候，使用LIMIT n, m是很是低效的。由于LIMIT的机制是每次都是从头开始扫描，若是须要从第60万行开始，读取3条数据，就须要先扫描定位到60万行，而后再进行读取，而扫描的过程是一个很是低效的过程。因此，对于大数据处理时，是很是有必要在应用层创建必定的缓存机制（貌似如今的大数据处理，都有缓存哦）。

参考文档：

SQL逻辑查询语句执行顺序