MapReduce的分片规则及其数据倾斜的解决思路

今天重新学习了Hadoop中MapReduce计算框架的相关内容，又有了一些新的体会，因此想将学习的一些心得记录下来。 首先，我们通过官方图解来了解一下MapReduce的整体流程： 下面我们来了解一下MapReduce计算框架运行的几个阶段，总体来说可以分为四个基本阶段： 第一、原始数据的输入和切分（split） 在这个阶段我们需要明白数据是如何进行切分的，及其分片规则是什么，在MapReduc

>>阅读原文<<