Spark项目实战-troubleshooting之解决JVM GC导致的shuffle文件拉取失败

一、shuffle文件拉取失败的背景介绍 我们知道Executor是一个JVM进程，在其内部有一个BlockManager用于管理该executor的一些数据。 Map端的task在往磁盘里写文件的时候，会通过BlockManager来维护底层的数据，同时也会将数据的元信息写入到Driver中。 下一个stage的task拉取数据的时候会从Driver获取拉取数据的元信息，找到executor并从

>>阅读原文<<