Spark性能优化：shuffle调优

shuffle调优算法 调优概述       大多数Spark做业的性能主要就是消耗在了shuffle环节，由于该环节包含了大量的磁盘IO、序列化、网络数据传输等操做。所以，若是要让做业的性能更上一层楼，就有必要对shuffle过程进行调优。可是也必须提醒你们的是，影响一个Spark做业性能的因素，主要仍是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部

>>阅读原文<<