[spark streaming]Exactly-One的事务处理和不重复输出彻底掌握

Spark Streaming事务处理图分析:  1. Receiver不断地接收数据,收到数据后汇报给driver,driver收到数据后为了数据安全进行checkpoint,checkpoint中有:Configuration,Block MetaData,DStreamGraph,未处理完Job和等待中的Job  2. job的执行完全基于spark core的调试模式  3. Receiv
相关文章
相关标签/搜索