hive 一些优化

环境 hive1.2.1 + hadoop2.6.0 一.mapjoin优化   原理:对于join操做,内链接中有一个表是小表,或者左链接时左表为小表时,自动将MR做业转化为Map,即在map端进行数据join操做,而不是reduce端。在执行任务的本地,将小表转换为hashtable,而后上传到集群中,以后的每一个map中都有全量的小表来直接进行join操做,从而跳过了shuffle阶段,这种
相关文章
相关标签/搜索