使用spark对文件内容进行分组

1.首先打开spark 命令： bin/spark-shell 2.在spark中创建一个文件夹，在里面创建2个TXT文件 3 执行命令 sc 是上下文执行文件 textFile(“input”)是指定文件夹，.flatMap(.split(" ")) 是进行分组 .map((,1))是一种转化结构，.reduceByKey(+)是分组聚合 .collect打印结果 scala> sc .text

>>阅读原文<<