Spark 中一些常见的 troubleshooting

记录一些常见的 Spark 做业里的 troubleshooting。sql 1，shuffle reduce 端缓冲大小致使的 OOM 在 shuffle 过程当中，reduce 端在拉取 map 端的数据时，每一个 task 会有本身的 缓冲区用来存放每次拉取的数据，这个缓冲区默认是 48M。shell 若是 map 端产生的数据量很是大，而且 map 端的写入数据很是快，那么这时候 redu

>>阅读原文<<