spark之shuffle性能优化

shuffle调优是spark调优的重中之重，在讲解shuffle调优之前，我们首先明确一个概念，什么是shuffle操作？ 问题：什么是shuffle？ 答案： 每个Spark作业启动运行的时候，首先Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批Task，然后将这些Task分配到各个Executor进程中执行。

>>阅读原文<<