Spark _18 _Shuffle文件寻址

Shuffle文件寻址 MapOutputTracker       MapOutputTracker是Spark架构中的一个模块,是一个主从架构。管理磁盘小文件的地址。 MapOutputTrackerMaster是主对象,存在于Driver中。 MapOutputTrackerWorker是从对象,存在于Excutor中。 BlockManager       BlockManager块管理者
相关文章
相关标签/搜索