Spark Streaming介绍以及案例

概观 Spark Streaming是核心Spark API的扩展,可实现实时数据流的可扩展,高吞吐量,容错流处理。 数据来源:Kafka,Flume,Kinesis或TCP套接字等, 可以使用高级函数进行复杂算法进行处理map,例如reduce,join和window。 处理后的数据可以推送到文件系统,数据库等   它的工作原理: Spark Streaming接收实时输入数据流并将数据分成批处
相关文章
相关标签/搜索