（转载）Hive学习笔记--Hive 原理

第一部分：Hive原理

为何要学习Hive的原理

•一条Hive HQL将转换为多少道MR做业

•怎么样加快Hive的执行速度

•编写Hive HQL的时候咱们能够作什么

•Hive 怎么将HQL转换为MR做业

•Hive会采用什么样的优化方式

Hive架构&执行流程

 

Hive执行流程

•编译器将一个Hive QL转换操做符

•操做符是Hive的最小的处理单元

•每一个操做符表明HDFS的一个操做或者一道MapReduce做业

Operator

•Operator都是hive定义的一个处理过程

•Operator都定义有:

•protected List  <Operator<?   extends Serializable  >> childOperators; 

•protected List  <Operator<?   extends Serializable  >> parentOperators; 

•protected boolean done; // 初始化值为false

•全部的操做构成了 Operator图，hive正是基于这些图关系来处理诸如limit, group by, join等操做

 

Hive执行流程

操做符	描述
TableScanOperator	扫描hive表数据
ReduceSinkOperator	建立将发送到Reducer端的<Key,Value>对
JoinOperator	Join两份数据
SelectOperator	选择输出列
FileSinkOperator	创建结果数据,输出至文件
FilterOperator	过滤输入数据
GroupByOperator	GroupBy语句
MapJoinOperator	/*+mapjoin(t) */
LimitOperator	Limit语句
UnionOperator	Union语句

•Hive经过ExecMapper和ExecReducer执行MapReduce任务

•在执行MapReduce时有两种模式

•本地模式

•分布式模式

ANTLR词法语法分析工具

•ANTLR—Another Tool for Language Recognition

•ANTLR 是开源的

•为包括Java，C++，C#在内的语言提供了一个经过语法描述来自动构造自定义语言的识别器（recognizer），编译器（parser）和解释器（translator）的框架

•Hibernate就是使用了该分析工具

 

Hive编译器

 

 

 

 

编译流程

 

第二部分：一条HQL引起的思考

案例HQL

•select key from test_limit  limit 1

•Stage-1

•TableScan Operator>Select Operator-> Limit->File Output Operator

•Stage-0

•Fetch Operator

•读取文件

Mapper与InputFormat

•该hive MR做业中指定的mapper是:

•mapred.mapper.class = org.apache.hadoop.hive.ql.exec.ExecMapper

•input format是:

•hive.input.format  = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 

•该hive MR做业中指定的mapper是:

•mapred.mapper.class = org.apache.hadoop.hive.ql.exec.ExecMapper

•input format是:

•hive.input.format  = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat