MapReduce数据倾斜解决方案

一.数据倾斜简介 1>.什么是数据倾斜   答:大量数据涌入到某一节点,导致此节点负载过重,此时就产生了数据倾斜。 2>.处理数据倾斜的两种方案   第一:重新设计key;   第二:设计随机分区;    二.模拟数据倾斜 数据:   3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3 5 7 9 1 3
相关文章
相关标签/搜索