sparkstreaming控制消费速率

反压机制： spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力 在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长；

>>阅读原文<<