102、Spark Streaming之数据处理原理剖析与源码分析(block与batch关系透彻解析)

流程图 数据处理原理剖析.png 每隔我们设置的batch interval 的time,就去找ReceiverTracker,将其中的,从上次划分batch的时间,到目前为止的这个batch interval time间隔内的block封装为一个batch 其次,会将这个batch中的数据,去创建为一个初始的RDD,一个batch内,在这段时间封装了几个block,就代表这个batch对应的RD
相关文章
相关标签/搜索