Spark 任务输出目录_temporary目录未删除问题排查

文章目录 一、问题描述 二、问题定位 三、driver kill task的时间 四、解决方案 参考资料 一、问题描述 在hdfs上看到有个输出目录有_temporary目录，但任务实际已经结束了。 有_SUCCESS文件表示这个任务已经结束了。 二、问题定位 Spark 输出数据到 HDFS 时，需要解决如下问题： 由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有

>>阅读原文<<