浅析:SparkShuffle 文件寻址

废话不多说,先上分析示意图: 文件寻址: 关于文件寻址中比较重要的两个对象:mapOutputTracker和BlockMananager。 这两个对象都是主从对象 m君有两个身份——m-Master(位于driver)和m-Worker(位于Executer) b君亦然——b-Master(位于driver)和b-Slave(位于Executer)。 b君负责管理磁盘数据: DiskStore—
相关文章
相关标签/搜索