006.面试:HIVE 2个大表join的倾斜问题

为什么80%的码农都做不了架构师?>>>    1.hive 2个大文件倾斜join如何解决? 设置maxSize和preRedecer的大小,能保证数据的均匀分配。  注意: 设置Reduce和perReducer就行,性能还不错 MAP阶段优化 •mapred.map.tasks 无效 •num_map_tasks切割大小影响参数 –mapred.max.split.size 默认: 256
相关文章
相关标签/搜索