大数据第五课-Hive调优

时间 2020-06-03

标签数据第五 hive 栏目 Hadoop 繁體版

原文原文链接

1、Fetch抓取

Fetch抓取是指，==Hive中对某些状况的查询能够没必要使用MapReduce计算==算法

例如：select * from score;sql

在这种状况下，Hive能够简单地读取employee对应的存储目录下的文件，而后输出查询结果到控制台 apache

在hive-default.xml.template文件中 ==hive.fetch.task.conversion默认是more==，老版本hive默认是minimal，该属性修改成more之后，app

在全局查找、字段查找、limit查找等都不走mapreduce。负载均衡

案例实操jvm

把 hive.fetch.task.conversion设置成==none==，而后执行查询语句，都会执行mapreduce程序分布式

set hive.fetch.task.conversion=none;
select * from score;
select s_id from score;
select s_id from score limit 3;

把hive.fetch.task.conversion设置成==more==，而后执行查询语句，以下查询方式都不会执行mapreduce程序。ide

set hive.fetch.task.conversion=more;
select * from score;
select s_id from score;
select s_id from score limit 3;

2、本地模式

在Hive客户端测试时，默认状况下是启用hadoop的job模式,把任务提交到集群中运行，这样会致使计算很是缓慢；oop

Hive能够经过本地模式在单台机器上处理任务。对于小数据集，执行时间能够明显被缩短。性能

案例实操

--开启本地模式，并执行查询语句
set hive.exec.mode.local.auto=true;  //开启本地mr
--设置local mr的最大输入数据量，当输入数据量小于这个值时采用local  mr的方式，
--默认为134217728，即128M
set hive.exec.mode.local.auto.inputbytes.max=50000000;
--设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，
--默认为4
set hive.exec.mode.local.auto.input.files.max=5;
--执行查询的sql语句
select * from student cluster by s_id;

--关闭本地运行模式
set hive.exec.mode.local.auto=false;
select * from student cluster by s_id;

3、表的优化

1 小表、大表 join

将key相对分散，而且数据量小的表放在join的左边，这样能够有效减小内存溢出错误发生的概率；

再进一步，可使用map join让小的维度表（1000条如下的记录条数）先进内存。在map端完成reduce。

2 大表 join 大表

空 key 过滤

有时join超时是由于某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而致使内存不够。

此时咱们应该仔细分析这些异常的key，不少状况下，这些key对应的数据是异常数据，咱们须要在SQL语句中进行过滤。

三、map join

若是不指定MapJoin 或者不符合 MapJoin的条件，那么Hive解析器会将Join操做转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。能够用 MapJoin 把小表所有加载到内存，在map端进行join，避免reducer处理。

 --开启MapJoin参数设置
set hive.auto.convert.join = true;

四、group By

默认状况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。

并非全部的聚合操做都须要在Reduce端完成，不少聚合操做均可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。

开启Map端聚合参数设置

--是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
--在Map端进行聚合操做的条目数目
set hive.groupby.mapaggr.checkinterval = 100000;
--有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;

当选项设定为 true，生成的查询计划会有两个MR Job。
第一个MR Job中，Map的输出结果会随机分布到Reduce中，每一个Reduce作部分聚合操做，
并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不一样的Reduce中，从而达到负载均衡的目的；
第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程能够保证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操做。

五、count(distinct)

数据量小的时候无所谓，数据量大的状况下，因为count distinct 操做须要用一个reduce Task来完成，这一个Reduce须要处理的数据量太大，就会致使整个Job很难完成，通常count distinct使用先group by 再count的方式替换

六、笛卡尔积

尽可能避免笛卡尔积，即避免join的时候不加on条件，或者无效的on条件

Hive只能使用1个reducer来完成笛卡尔积。

4、分区裁剪，列裁剪

尽量早地过滤掉尽量多的数据量，避免大量数据流入外层SQL。
列剪裁
- 只获取须要的列的数据，减小数据输入。
分区裁剪

分区在hive实质上是目录，分区裁剪能够方便直接地过滤掉大部分数据。
尽可能使用分区过滤，少用select *

5、并行执行

把一个sql语句中没有相互依赖的阶段并行去运行。提升集群资源利用率

--开启并行执行
set hive.exec.parallel=true;
--同一个sql容许最大并行度，默认为8。
set hive.exec.parallel.thread.number=16;

6、严格模式

Hive提供了一个严格模式，能够防止用户执行那些可能意想不到的很差的影响的查询。

经过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式须要修改hive.mapred.mode值为strict，开启严格模式能够禁止3种类型的查询。

--设置非严格模式（默认）
set hive.mapred.mode=nonstrict;
--设置严格模式
set hive.mapred.mode=strict;

（1）对于分区表，除非where语句中含有分区字段过滤条件来限制范围，不然不容许执行

--设置严格模式下 执行sql语句报错； 非严格模式下是能够的
select * from order_partition；
异常信息：Error: Error while compiling statement: FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "order_partition" Table "order_partition"

（2）对于使用了order by语句的查询，要求必须使用limit语句

--设置严格模式下 执行sql语句报错； 非严格模式下是能够的
select * from order_partition where month='2019-03' order by order_price; 
异常信息：Error: Error while compiling statement: FAILED: SemanticException 1:61 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'order_price'

（3）限制笛卡尔积的查询，严格模式下，避免出现笛卡尔积的查询

7、JVM重用

JVM重用是Hadoop调优参数的内容，其对Hive的性能具备很是大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。Hadoop的默认配置一般是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会形成至关大的开销，尤为是执行的job包含有成百上千task任务的状况。JVM重用可使得JVM实例在同一个job中从新使用N次。N的值能够在Hadoop的mapred-site.xml文件中进行配置。一般在10-20之间，具体多少须要根据具体业务场景测试得出。

<property>
  <name>mapreduce.job.jvm.numtasks</name>
  <value>10</value>
  <description>How many tasks to run per jvm. If set to -1, there is
  no limit. 
  </description>
</property>

咱们也能够在hive当中经过

 set  mapred.job.reuse.jvm.num.tasks=10;

这个设置来设置咱们的jvm重用

这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。若是某个“不平衡的”job中有某几个reduce task执行的时间要比其余Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却没法被其余的job使用，直到全部的task都结束了才会释放。

8、推测执行

在分布式集群环境下，由于程序Bug（包括Hadoop自己的bug），负载不均衡或者资源分布不均等缘由，会形成同一个做业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其余任务（好比一个做业的某个任务进度只有50%，而其余全部任务已经运行完毕），则这些任务会拖慢做业的总体执行进度。为了不这种状况发生，Hadoop采用了推测执行（Speculative Execution）机制，它根据必定的法则推测出“拖后腿”的任务，并为这样的任务启动一个备份任务，让该任务与原始任务同时处理同一份数据，并最终选用最早成功运行完成任务的计算结果做为最终结果。

设置开启推测执行参数：Hadoop的mapred-site.xml文件中进行配置

<property>
  <name>mapreduce.map.speculative</name>
  <value>true</value>
  <description>If true, then multiple instances of some map tasks 
               may be executed in parallel.</description>
</property>

<property>
  <name>mapreduce.reduce.speculative</name>
  <value>true</value>
  <description>If true, then multiple instances of some reduce tasks 
               may be executed in parallel.</description>
</property>

不过hive自己也提供了配置项来控制reduce-side的推测执行：

 <property>
    <name>hive.mapred.reduce.tasks.speculative.execution</name>
    <value>true</value>
    <description>Whether speculative execution for reducers should be turned on. </description>
  </property>

关于调优这些推测执行变量，还很难给一个具体的建议。若是用户对于运行时的误差很是敏感的话，那么能够将这些功能关闭掉。若是用户由于输入数据量很大而须要执行长时间的map或者Reduce task的话，那么启动推测执行形成的浪费是很是巨大大。

9、数据压缩

Hive表中间数据压缩

#设置为true为激活中间数据压缩功能，默认是false，没有开启
set hive.exec.compress.intermediate=true;
#设置中间数据的压缩算法
set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;

Hive表最终输出结果压缩

set hive.exec.compress.output=true;
set mapred.output.compression.codec = org.apache.hadoop.io.compress.SnappyCodec;

10、数据倾斜

一、合理设置Map数

2 、小文件合并

三、复杂文件增长Map数

四、合理设置Reduce数

把hive.fetch.task.conversion设置成==more==，而后执行查询语句，以下查询方式都不会执行mapreduce程序。