Spark技术内幕：Shuffle Pluggable框架详解，你怎么开发本身的Shuffle Service？

首先介绍一下须要实现的接口。框架的类图如图所示（今天CSDN抽风，居然上传不了图片。若是须要实现新的Shuffle机制，那么须要实现这些接口。apache 1.1.1  org.apache.spark.shuffle.ShuffleManager Driver和每一个Executor都会持有一个ShuffleManager，这个ShuffleManager能够经过配置项spark.shuffle

>>阅读原文<<