Structed Streaming在2.0推出的时候,其实并非很成熟,包括一些功能的不完善和会有bugapp
可是它给咱们带来了全新的视野,致使咱们能够更容易去使用流处理,和更高效使用流去处理数据事件
现实中的目标是end-to-end continuous appclass
它已经不是一个流式处理的概念,就是一个应用程序的概念,这是一个continuous app,bug
什么是一个continus app?程序
也就是应用程序是在不断地运行和发生着:1.数据不断地递增(Kafka会不断地有数据产生)im
2.应用程序7*24小时运行总结
end-to-end:流处理知识整个IT系统的一个环节,流的处理结果为下一个环节作准备数据
因此Spark 2.0开创性地提出了这一理念,实现这一理念的就是Structed Streaming查询
EventTime(基于事件的处理,之前是不可想象的)img
能够经过JDBC去查询Spark Streaming的处理结果
概括总结:1.Structed Streaming in Spark 2.0
2.看图理解Spark Streaming 的目标
3.实现Structed Streaming的重点