spark--shuffle配置

概述 Shuffle是Spark Core比较复杂的模块，它也是很是影响性能的操做之一。所以，在这里整理了会影响Shuffle性能的各项配置。web 1）spark.shuffle.manager Spark 1.2.0官方版本支持两种方式的Shuffle，即Hash Based Shuffle和Sort Based Shuffle。其中在Spark 1.0以前仅支持Hash Based Shuf

>>阅读原文<<