第37课：Spark中Shuffle详解及做业

前言： 对于大数据计算框架而言，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。 shuffle的优化是一个不断发展的过程。java shuffle基本概念 shuffle是一个算子，表达的是多对多的依赖关系，在MapReduce计算框架中，是链接Map阶段和Reduce阶段的纽带，即每一个Reduce Task从每一个Map Task产生数的据中读取一片数据。 一般shuffle分为两

>>阅读原文<<