Pyspark实战(三)wordcount算子分析

Pyspark的本质仍是调用scala的jar包,咱们以上篇文章wordcount为例,其中一段代码为:app rdd.flatMap(lambda x:x.split( )).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y).foreach(lambda x:print(x)) 其中:flatMap,map为转换算子。函数 reduceByKey,f
相关文章
相关标签/搜索