SparkStreaming+kafak的direct模式逻辑分析(图片展示+文字说明)

Sparkstreaming+kafka direct模式: 将kafka看成存储数据的一方,sparkstreaming处理数据主动去拿数据,不需要一个task一直被占用接受数据 sparkStreaming+kafka的direct模式的并行度:生成的dstream中的rdd的并行度与读取的kafka的topic的partition个数一致。Direct模式相对于receiver模式来说简化了
相关文章
相关标签/搜索