Spark机器学习第4课: 深度解析Structured Streaming

Structed Streaming在2.0推出的时候,其实并非很成熟,包括一些功能的不完善和会有bugapp

可是它给咱们带来了全新的视野,致使咱们能够更容易去使用流处理,和更高效使用流去处理数据事件

 

现实中的目标是end-to-end continuous appclass

它已经不是一个流式处理的概念,就是一个应用程序的概念,这是一个continuous app,bug

什么是一个continus app?程序

也就是应用程序是在不断地运行和发生着:1.数据不断地递增(Kafka会不断地有数据产生)im

2.应用程序7*24小时运行总结

end-to-end:流处理知识整个IT系统的一个环节,流的处理结果为下一个环节作准备数据

 

因此Spark 2.0开创性地提出了这一理念,实现这一理念的就是Structed Streaming查询

 

 

EventTime(基于事件的处理,之前是不可想象的)img

能够经过JDBC去查询Spark Streaming的处理结果

 

 

 

概括总结:1.Structed Streaming in Spark 2.0

2.看图理解Spark Streaming 的目标

3.实现Structed Streaming的重点

 

相关文章
相关标签/搜索