Hadoop ---推测执行Speculative Execution

问题  MapReduce模型将一个作业分解为多个任务并行执行,以缩短执行时间。这种模型的特点是,整个作业的运行时间由最后完成的一个任务决定。如果少数任务运行缓慢,则会影响作业的整体进度。 推测执行  任务运行缓慢的原因有很多,很难检测到具体原因。Hadoop提供了一种优化措施,当检测到某个任务运行缓慢时,Hadoop会启动另一个与该任务完全相同的任务,并最终选用最先成功运行完成任务的计算结果作为
相关文章
相关标签/搜索