数据倾斜

3.自定义分区,这须要用户本身继承partition类,指定分区策略,这种方式效果比较显著。web 4.从新设计key,有一种方案是在map阶段时给key加上一个随机数,有了随机数的key就不会被大量的分配到同一节点(小概率),待到reduce后再把随机数去掉便可。网络 5.使用combinner合并,combinner是在map阶段,reduce以前的一个中间阶段,在这个阶段能够选择性的把大量的

>>阅读原文<<