Spark中groupByKey和reduceByKey的区别

重点比较reduceByKey和groupByKey: 相同点： 1,都做用于 RDD[K,V] 2，都是根据key来分组聚合 3， 默认，分区的数量都是不变的，可是均可以经过参数来指定分区数量web 不一样点： 1， groupByKey默认没有聚合函数，获得的返回值类型是RDD[ k,Iterable[V]] 2， reduceByKey 必须传聚合函数 获得的返回值类型 RDD[(K,聚合后

>>阅读原文<<