数据分析利器之hive优化十大原则

hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。

用过hive的朋友，我想或多或少都有相似的经历：一天下来，没跑几回hive，就到下班时间了。

hive在极大数据或者数据不平衡等状况下，表现每每通常，所以也出现了presto、spark-sql等替代品。今天不谈其它，就来讲说关于hive，我的的一点心得。

 

一. 表链接优化 

1.  将大表放后头

Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，而后扫描最后那个表。

所以一般须要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name) */

2. 使用相同的链接键

当对3个或者更多个表进行join链接时，若是每一个on子句都使用相同的链接键的话，那么只会产生一个MapReduce job。

3. 尽可能尽早地过滤数据

减小每一个阶段的数据量,对于分区表要加分区，同时只选择须要使用到的字段。

4. 尽可能原子化操做

尽可能避免一个SQL包含复杂逻辑，可使用中间表来完成复杂的逻辑

 

二. 用insert into替换union all

若是union all的部分个数大于2，或者每一个union部分数据量大，应该拆成多个insert into 语句，实际测试过程当中，执行时间能提高50%

 

如：

insert overwite table tablename partition (dt= ....) 　

select ..... from ( select ... from A 

union all 　

select ... from B 　union all select ... from C ) R 　

where ...;

能够改写为：

insert into table tablename partition (dt= ....) select .... from A WHERE ...; insert into table tablename partition (dt= ....) select .... from B 　WHERE ...; insert into table tablename partition (dt= ....) select .... from C WHERE ...;

 

三.  order by & sort by 

 

order by : 对查询结果进行全局排序，消耗时间长。须要 set hive.mapred.mode=nostrict

sort by : 局部排序，并不是全局有序，提升效率。

 

四. transform+python

一种嵌入在hive取数流程中的自定义函数，经过transform语句能够把在hive中不方便实现的功能在python中实现，而后写入hive表中。

语法：

select transform({column names1})

using '**.py'

as {column names2}

from {table name}

若是除python脚本外还有其它依赖资源，可使用ADD ARVHIVE

 

五. limit 语句快速出结果

通常状况下，Limit语句仍是须要执行整个查询语句，而后再返回部分结果。

有一个配置属性能够开启，避免这种状况---对数据源进行抽样

hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能

hive.limit.row.max.size --- 设置最小的采样容量

hive.limit.optimize.limit.file --- 设置最大的采样样本数

缺点：有可能部分数据永远不会被处理到

 

六. 本地模式

对于小数据集，为查询触发执行任务消耗的时间>实际执行job的时间，所以能够经过本地模式，在单台机器上（或某些时候在单个进程上）处理全部的任务。

set oldjobtracker=${hiveconf:mapred.job.tracker}; 

set mapred.job.tracker=local; 　

set marped.tmp.dir=/home/edward/tmp; sql 语句 　set mapred.job.tracker=${oldjobtracker};

-- 能够经过设置属性hive.exec.mode.local.auto的值为true，来让hve在适当的时候自动启动这个优化，也能够将这个配置写在$HOME/.hiverc文件中。

-- 当一个job知足以下条件才能真正使用本地模式：

1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)

2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)

3.job的reduce数必须为0或者1

可用参数hive.mapred.local.mem(默认0)控制child jvm使用的最大内存数。

 

七. 并行执行

hive会将一个查询转化为一个或多个阶段，包括：MapReduce阶段、抽样阶段、合并阶段、limit阶段等。默认状况下，一次只执行一个阶段。 不过，若是某些阶段不是互相依赖，是能够并行执行的。

set hive.exec.parallel=true,能够开启并发执行。

set hive.exec.parallel.thread.number=16; //同一个sql容许最大并行度，默认为8。

会比较耗系统资源。

 

八. 调整mapper和reducer的个数

1 Map阶段优化

map个数的主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小（默认128M，不可自定义）。

举例：

a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数

b) 假设input目录下有3个文件a,b,c,大小分别为10m，20m，130m，那么hadoop会分隔成4个块（10m,20m,128m,2m）,从而产生4个map数

即，若是文件大于块大小(128m),那么会拆分，若是小于块大小，则把该文件当成一个块。

map执行时间：map任务启动和初始化的时间+逻辑处理的时间。

1）减小map数

如有大量小文件（小于128M），会产生多个map，处理方法是：

set mapred.max.split.size=100000000; set mapred.min.split.size.per.node=100000000; set mapred.min.split.size.per.rack=100000000;  

-- 前面三个参数肯定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的）进行合并

　set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- 执行前进行小文件合并 2）增长map数

当input的文件都很大，任务逻辑复杂，map执行很是慢的时候，能够考虑增长Map数，来使得每一个map处理的数据量减小，从而提升任务的执行效率。

set mapred.reduce.tasks=?

2 Reduce阶段优化

调整方式：

-- set mapred.reduce.tasks=?

-- set hive.exec.reducers.bytes.per.reducer = ?

通常根据输入文件的总大小,用它的estimation函数来自动计算reduce的个数：reduce个数 = InputFileSize / bytes per reducer

九.严格模式

set hive.marped.mode=strict ------ 防止用户执行那些可能意想不到的很差的影响的查询

-- 分区表，必须选定分区范围

-- 对于使用order by的查询，要求必须使用limit语句。由于order by为了执行排序过程会将全部的结果数据分发到同一个reducer中进行处理。

-- 限制笛卡尔积查询：两张表join时必须有on语句

 

十.数据倾斜

表现：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少许（1个或几个）reduce子任务未完成。由于其处理的数据量和其余reduce差别过大。

单一reduce的记录数与平均记录数差别过大，一般可能达到3倍甚至更多。 最长时长远大于平均时长。

缘由

1)、key分布不均匀

2)、业务数据自己的特性

3)、建表时考虑不周

4)、某些SQL语句自己就有数据倾斜

关键词	情形	后果
join	其中一个表较小，可是key集中	分发到某一个或几个Reduce上的数据远高于平均值
join	大表与大表，可是分桶的判断字段0值或空值过多	这些空值都由一个reduce处理，灰常慢
group by	group by 维度太小，某值的数量过多	处理某值的reduce灰常耗时
count distinct	某特殊值过多	处理此特殊值reduce耗时

解决方案：

参数调节

hive.map.aggr=true

 

 

参考文献：

1. 《hive编程指南》Edward Capriolo

 

对数据感兴趣的小伙伴，欢迎交流，微信公共号:一白侃数