阿里云Spark Shuffle的优化

Spark Shuffle介绍 Smart Shuffle设计 性能分析 Spark Shuffle流程 Spark 0.8及以前 Hash Based Shuffle  Spark 0.8.1 为Hash Based Shuffle引入File Consolidation机制  Spark 0.9 引入ExternalAppendOnlyMap  Spark 1.1 引入Sort Based S

>>阅读原文<<