Spark 之SparkStreaming 1

本文假设读者已经完成了Spark安装，能够正常运行spark-shell

启动 spark-shell ，

# spark-shell窗口
./spark-shell --master local[2] # 使用2个core

local[2]，由于须要分配一个来监听。

另外打开一个shell窗口

经过socket往 本机9999端口发送数据

# nc窗口
nc -lk 9999

回到spark-shell窗口，

import org.apache.spark.streaming.{Durations, StreamingContext}
// 建立StreamingContext，每5秒批量执行次任务
val ssc = new StreamingContext(sc,Durations.seconds(5))
// 监听本地9999端口
val words = ssc.socketTextStream("localhost",9999).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
words.print
ssc.start

而后在nc窗口，随便按下几个带空格的数据。以下图：

最多过5秒，能够看到spark-shell窗口有反应了。

至此，简单的SparkStreaming已经跑通。

官方SparkStreaming入门