spark任务卡住问题原因之一以及解决方案

文章目录 背景 分析 缺点 本文是一个记录文，主要是参考网上的资料 Spark任务一直停在某个Stage不动问题 背景 pyspark 在保存数据时，在最后4-5个stage 任务卡住不动，其他stage 10几分钟完成，这几个2h也没用完成，而且在sparkUI上面发现需要处理的数据0KB，实在是郁闷啊。网上查找资料如下，链接如上： 分析 主要是使用了spark 的推断执行机制， 缺点 开始推断

>>阅读原文<<