【spark 词频统计】spark单词进行计数升级版

下面的代码对文件里的单词进行计数，筛选出现过10次的单词，而后对这些单词中的每一个字符出现的次数进行计数。最后，经过collect action操做触发job的执行。这些转换中有两个是stage边界（它们有宽依赖）。代码中的两个reduceByKey转换是生成3个stage的缘由：web val words = sc.textFile("textFilePath").flatMap(_.split

>>阅读原文<<