Hive优化原则-策略-过程简述(持续更新完善中)

原则 优化时把握总体,单个做业最优不如总体最优 合理控制map reduce数量 减小job数量(合并,大的分拆) 合并小文件 避免倾斜 从表链接的角度优化:尽可能使用内链接,由于内链接是两表都知足的行的组合,而外链接是以其中一个表的所有为基准 从索引的角度优化:对那些经常使用的查询字段简历索引,这样查询时值进行索引扫描,不读取数据块 能够在查询的过程当中减小没必要要的分区,字段 好Hadoop的
相关文章
相关标签/搜索