spark streaming调优-多线程并行处理任务

问题 对于spark streaming程序和spark程序的区别，最大的一个问题就是spark streaming程序需要控制每次处理的时间。我们看以下两种场景，都很常见。 场景1: 程序每次处理的数据量是波动的，比如周末比工作日多很多，晚八点比凌晨四点多很多。 一个spark程序处理的时间在1-2小时波动是OK的。而spark streaming程序不可以,如果每次处理的时间是1-10分钟，就

>>阅读原文<<