SparkStreaming性能调优

1、数据接收并行度调优——建立更多的输入DStream和Receiver 经过网络接收数据时（好比Kafka，Flume），会将数据反序列化，并存储在Spark的内存中。若是数据接收成为系统的瓶颈，能够考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiver接收一个数据流。所以能够经过建立多个输入DStream，并配置它们接

>>阅读原文<<