spark学习之pyspark中aggregate()的使用

aggregate():这个函数须要三个zeroValue, seqOp, combOp。zeroValue是初始值，形式是（x,y);seqOp和combOP是两个方法，其中seqOp方法是对每一个分区操做，而后combOp对每一个分区的结果进行操做。web >>> data=[1,2,3,4,5,6,7,8,9] >>> rdd=sc.parallelize(data,2) #分红了两个分区，

>>阅读原文<<