sparkstreaming个别task执行时间过长

1.单机差异排查 通过streaming的web可看到运行的每个批的详细信息，我们注意到在运行时间上的批次里，基本都是少部分任务时间很长，大多数task还是很快的。可以看到75%的task在3秒内执行完，但是Max最大的确实1.2min，首先猜想的是机器性能差异，但是经过排查集群机器性能并无区别，且每台机器上执行的task比较均衡，基本上排除了单机性能差异问题，且在耗时较长的批次中，可以发现耗时长

>>阅读原文<<