spark1.6.1入门api实现单词计数

刚刚学习spark,因此写个简单案列,来提高本身。 spark也会有相似于hadoop的mapreduce过程,用于数据的处理。 准备工做:先将一个写有单词的文本传上到hdfs。 函数解释: 1,flatMap: flatmap与map相似,区别是原RDD中的元素经map处理后只能生成一个元素,而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。返回的是一个迭代 咱们也是经过这个
相关文章
相关标签/搜索