Hive On Spark概述

Hive现有支持的执行引擎有mr和tez，默认的执行引擎是mr，Hive On Spark的目的是添加一个spark的执行引擎，让hive能跑在spark之上；

在执行hive ql脚本以前指定执行引擎、spark.home、spark.master

set hive.execution.engine=spark;
set spark.home=/home/spark/app/spark-1.3.0-bin-spark-without-hive;
set spark.master=yarn;

 

Hive On Spark与Spark SQL/Shark的区别：

Spark SQL/Shark:

一、将sql语义翻译成Spark RDD在Spark上执行；

二、Spark SQL是基于hive snapshot版本，虽然可以兼容hive，可是使用的版本早于当前hive的release版本，最新的一些特性则没法使用；

三、Spark SQL使用Spark的transformation和action替换Hive sql的构建; 将会丢失一些hive自身构建实现的特性;

Hive on Spark：

一、将hql语义翻译成MapReduce在Spark上执行；

二、Hive On Spark则是与hive共同演化；

三、Hive On Spark使用的是Hive的构建，将包含Hive全部的特性，Spark仅仅是一个通用的执行引擎而已；

为Hive添加一个spark执行引擎涉及到以下方面：

一、查询计划

将Hive的逻辑执行计划进一步翻译成Spark可以执行的Spark计划；

二、查询执行

获得的Spark计划真正在Spark集群中运行；

三、监控、计数器、统计等

 

查询计划：

当hive接收到一个sql语句时，使用Hive的语法解析器解析成一个操做计划；

对于On Spark引擎，引入了SparkComplier，相似于MapReduceCompiler和TezCompiler；

SparkComplier：

　　将从Hive中获得的逻辑执行计划转成在Spark上能运行的计划；

　　在产生Spark计划的时候作一些物理执行计划的优化；

SparkTask：在Spark集群中执行的一个job

SparkWork：SparkTask的计划，能够经过explain查看

SparkComplier: 将Hive的执行计划转化成一个SparkWork

 

查询执行：

SparkTask.execute()在SparkWork以外产出rdd以及相应的方法，经过Spark Client提交给Spark集群执行；一旦SparkTask提交给了Spark集群，Spark Client将监控job的执行状况；

经过SparkJobMonitor来处理打印任务的执行状态和最终的执行结果；Spark Job的提交是经过SparkContext对象完成的；当SparkTask被hive执行时，就会为当前用户session建立一个SparkContext；

Hive表相关的RDD将会被建立；MapFunction、ReduceFunction将会被SparkWork建立而且做用在RDD上；当在RDD上执行foreach方法时该RDD上的job就会被触发执行。

 

监控、计数器、统计等：

监控：

Spark在每一个SparkContext运行时提供了WebUI，当时该UI中只能展示出运行时的Application信息；

为了在Application运行完后也能从新渲染UI信息，须要在启动Application以前设置spark.eventLog.enabled为true；

Standalone模式运行时能够经过WebUI展现，YARN/Mesos模式运行时，能够经过Spark History Server来展示；

计数器/统计：

在Spark中提供了accumulator实现计数器，使用Metrics实现统计；