Spark Streaming之运行原理

一 启动流处理引擎 1.1初始化StreamingContext 首先须要初始化StreamingContext，在初始化的过程当中会对DStreamGraph、JobScheduler等进行初始化，DStreamGraph相似于RDD的有向无环图，包含DStream之间相互依赖的有向无环图；JobScheduler定时查看DStreamGraph，而后根据流入的数据生成运行做业缓存   1.2

>>阅读原文<<