Spark性能优化篇四：shuffle调优

Spark性能优化篇四：shuffle调优 shuffle调优 调优概述       大多数Spark做业的性能主要就是消耗在了shuffle环节，由于该环节包含了大量的磁盘IO、序列化、网络数据传输等操做。所以，若是要让做业的性能更上一层楼，就有必要对shuffle过程进行调优。可是也必须提醒你们的是，影响一个Spark做业性能的因素，主要仍是代码开发、资源参数以及数据倾斜，shuffle调优只

>>阅读原文<<