spark2原理分析—shuffle框架的实现概要分析

概述 本文分析spark2的shuffle过程的实现的一个概要。web shuffle过程介绍 shuffle整体流程 spark2的shuffle过程能够分为shuffle write和shuffle read。shuffle write把map阶段计算完成的数据写入到本地。而shuffle read是从不一样的计算节点获取shuffle write计算出来的数据，这样就会发生网络的数据传输和磁

>>阅读原文<<