Spark Shuffle原理解析

Spark Shuffle原理解析   一：到底什么是Shuffle？          Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。   二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（Shuffle已经融化在Spark的算子中了）。 1， 数据量非常大； 2， 数据如何分类，即如何Pa

>>阅读原文<<