spark之推测执行

一、什么是推测执行？   在spark做业运行中，一个stage里面的不一样task的执行时间可能不同，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。形成这种状况的缘由多是集群内机器的配置性能不一样、网络波动、或者是因为数据倾斜引发的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务，spark就会在不一样的executor上再启动一个task来跑这个任务

>>阅读原文<<