最详细理解spark中reduce和reduceByKey的区别

首先我们先讲讲两个函数在功能上的作用与区别是什么，然后我们再深入讨论两个函数在内部机理有什么不同。 reduce(binary_function) reduce 是用于一元组，遍历一元组的数据，进行处理。 reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。 具体过

>>阅读原文<<