遇到问题---hadoop---reduce执行时又重新map

遇到的情况 我们在运行一个2T的hive数据进行动态分区，发现运行了很长时间的mapreduce在reduce运行过程中又重新启动了一次map。 如图 原因 分析到的原因可能有两个 一是有异常报错，reduce入库时一直失败，很多个fail或者kill，hadoop启用推测执行机制。hadoop针对慢或者老是失败的任务额外启动一个备份任务，一起处理同一份数据，哪个先执行完，则采用哪个的处理结果，同

>>阅读原文<<