Spark Streaming 流计算优化记录(3)-控制流量与join的地点

4. 流量控制 好像之前说过”一下子从Kafka拉取几十万条消息进行处理”的事情, 其实酱紫是不对滴, 饭要一口一口吃, 一下子吃太多, 会导致还没吃成胖子就已经被撑死的. 所以我们要对为了做压力测试而早已在Kafka中囤积多时的几十万条消息分批次进行处理, 毕竟实际跑起的时候每秒拥入 我们知道, Spark Streaming进行流处理的原理是micro batch, 即把每秒或每几秒这个时间窗

>>阅读原文<<