Spark Streaming 调优指南

SparkStreaming是架构在SparkCore上的一个“应用”，SparkStreaming主要由DStreamGraph、Job的生成、数据的接收和导入以及容错四大模块组成，我们今天就从这四大模块入手，看看每个模块都有什么样的调优方式 1 DStreamGraph 其实这部分主要是算子的使用优化，这个跟Spark调优的内容是相同，在这一部分可以优化的内容有 重复使用的rdd进行cache

>>阅读原文<<