0-structuredStreaming-base

Structured Streaming 在spark sql 引擎基础上建立的可扩展,容错的流处理引擎。 可以以处理一小批静态数据的方式处理流计算 当流数据到来时,spark sql 引擎会连续的增量的更新最终结果,spark sql 的所有优化都用使用到 通过checkpointing and Write Ahead Logs 保证端到端的 exactly-once 容错处理 fast, sc
本站公众号
   欢迎关注本站公众号,获取更多信息