Spark Streaming 流计算优化记录(4)-时间都去哪儿了,关于调度与空转

6. 时间都去where了,青春不能等,调度也是 除了上述优化, 我们还注意到一个奇怪的现象:   怎么回事, 即使接收不到消息都要花掉5秒?!! 虽然Spark Streaming空转依然会产生空task, 这些空task依然会消耗序列化, 压缩, 调度等时间, 但也不至于那么多吧!!! 我们拿一个Stage看看, 就拿处理Kafka消息的那个Stage作例子吧:   Kafka没有任何消息进来

>>阅读原文<<