Spark学习笔记(25)Spark Streaming的JobGenerator源码图解

本期内容: 1. JobGenerator源码 2. JobGenerator图解 第6课曾经对JobGenarator生成Job的主要流程进行过一些剖析。这次在原有基础上做一些补充。第6课给出了以下生成Job的相关类的主流程图: 以下图也给出了JobGenerator的更多的工作流程供参考: JobGenerator用于从DStream产生作业,驱动checkpoint,清理DStream元数据
相关文章
相关标签/搜索