经过案例对SparkStreaming透彻理解-2

 

咱们知道Spark Core处理的每一步都是基于RDD的，RDD之间有依赖关系。上图中的RDD的DAG显示的是有3个Action，会触发3个job，RDD自下向上依赖，RDD产生job就会具体的执行。从DSteam Graph中能够看到，DStream的逻辑与RDD基本一致，它就是在RDD的基础上加上了时间的依赖。RDD的DAG又能够叫空间维度，也就是说整个Spark Streaming多了一个时间维度，也能够成为时空维度。

 

从这个角度来说，能够将Spark Streaming放在坐标系中。其中Y轴就是对RDD的操做，RDD的依赖关系构成了整个job的逻辑，而X轴就是时间。随着时间的流逝，固定的时间间隔（Batch Interval）就会生成一个job实例，进而在集群中运行。

 

 

对于Spark Streaming来讲，当不一样的数据来源的数据流进来的时候，基于固定的时间间隔，会造成一系列固定不变的数据集或event集合（例如来自flume和kafka）。而这正好与RDD基于固定的数据集不谋而合，事实上，由DStream基于固定的时间间隔造成的RDD Graph正是基于某一个batch的数据集的。

 

从上图中能够看出，在每个batch上，空间维度的RDD依赖关系都是同样的，不一样的是这个五个batch流入的数据规模和内容不同，因此说生成的是不一样的RDD依赖关系的实例，因此说RDD的Graph脱胎于DStream的Graph，也就是说DStream就是RDD的模版，不一样的时间间隔，生成不一样的RDD Graph实例。

// DStream.scala line 65
// =======================================================================
// Methods that should be implemented by subclasses of DStream
// =======================================================================

/** Time interval after which the DStream generates a RDD */
def slideDuration: Duration

/** List of parent DStreams on which this DStream depends on */
def dependencies: List[DStream[_]]

/** Method that generates a RDD for the given time */
def compute(validTime: Time): Option[RDD[T]]

DStream也有dependencies和compute

// DStream.scala line 83
// RDDs generated, marked as private[streaming] so that testsuites can access it
@transient
private[streaming] var generatedRDDs = new HashMap[Time, RDD[T]] ()

这是一个HashMap，以时间为key，以RDD为value，这也正应证了随着时间流逝，不断的生成RDD，产生依赖关系的job，并经过jobScheduler在集群上运行。再次验证了DStream就是RDD的模版。

 

DStream能够说是逻辑级别的，RDD就是物理级别的，DStream所表达的最终都是经过RDD的转化实现的。前者是更高级别的抽象，后者是底层的实现。DStream实际上就是在时间维度上对RDD集合的封装，DStream与RDD的关系就是随着时间流逝不断的产生RDD，对DStream的操做就是在固定时间上操做RDD。

 

总结：

　　在空间维度上的业务逻辑做用于DStream，随着时间的流逝，每一个Batch Interval造成了具体的数据集，产生了RDD，对RDD进行transform操做，进而造成了RDD的依赖关系RDD DAG，造成job。而后jobScheduler根据时间调度，基于RDD的依赖关系，把做业发布到Spark Cluster上去运行，不断的产生Spark做业。