（十六）执行过程实例分析

 

 

1、Hive 执行过程概述

一、概述

（1） Hive 将 HQL 转换成一组操做符（Operator），好比 GroupByOperator, JoinOperator 等

（2）操做符 Operator 是 Hive 的最小处理单元

（3）每一个操做符表明一个 HDFS 操做或者 MapReduce 做业

（4）Hive 经过 ExecMapper 和 ExecReducer 执行 MapReduce 程序，执行模式有本地模式和分 布式两种模式

二、Hive 操做符列表

三、Hive 编译器的工做职责

（1）Parser：将 HQL 语句转换成抽象语法树（AST：Abstract Syntax Tree）

（2）Semantic Analyzer：将抽象语法树转换成查询块

（3）Logic Plan Generator：将查询块转换成逻辑查询计划

（4）Logic Optimizer：重写逻辑查询计划，优化逻辑执行计划

（5）Physical Plan Gernerator：将逻辑计划转化成物理计划（MapReduce Jobs）

（6）Physical Optimizer：选择最佳的 Join 策略，优化物理执行计划

四、优化器类型

上表中带①符号的，优化目的都是尽可能将任务合并到一个 Job 中，以减小 Job 数量，带②的 优化目的是尽可能减小 shuffle 数据量

 

2、join

一、对于 join 操做

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid;

 

二、实现过程

 Map：

　　一、以 JOIN ON 条件中的列做为 Key，若是有多个列，则 Key 是这些列的组合

　　二、以 JOIN 以后所关心的列做为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪一个表

　　三、按照 Key 进行排序

Shuffle：

　　一、根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不一样对 Reduce 中

Reduce：

　　一、 Reducer 根据 Key 值进行 Join 操做，而且经过 Tag 来识别不一样的表中的数据

三、具体实现过程

 

3、Group By

一、对于 group by操做

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age; 

二、实现过程

 

4、Distinct

一、对于 distinct的操做

按照 age 分组，而后统计每一个分组里面的不重复的 pageid 有多少个

SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;

二、实现过程

三、详细过程解释

该 SQL 语句会按照 age 和 pageid 预先分组，进行 distinct 操做。而后会再按 照 age 进行分组，再进行一次 distinct 操做