(十六)Hive 优化策略

正文node   1、Hadoop 框架计算特性 一、数据量大不是问题,数据倾斜是个问题算法 二、jobs 数比较多的做业运行效率相对比较低,好比即便有几百行的表,若是屡次关联屡次 汇总,产生十几个 jobs,耗时很长。缘由是 map reduce 做业初始化的时间是比较长的sql 三、sum,count,max,min 等 UDAF,不怕数据倾斜问题,hadoop 在 map 端的汇总合并优化,
相关文章
相关标签/搜索