Spark Shuffle服务和客户端

BlockTransferService Spark是分布式部署的，每一个Task最终都运行在不一样的机器节点上。map任务的输出结果直接存储到map任务所在的机器的存储体系中，reduce任务极可能不在同一台机器上运行，因此须要远程下载map任务的中间输出。ShuffleClient不只将shuffle文件上传到其余Executor或者下载到本地的客户端，也提供了能够被其余Executor访问的

>>阅读原文<<