“戏”说spark---spark Shuffle详解(二)

“戏”说spark---spark Shuffle详解(二) 在“戏”说spark---spark Shuffle详解(一)一文中,我们详细的介绍了Spark中两种ShuffleManager,HashShuffleManager和SortShuffleManager,那么在Shuffle中,Reduce节点是怎么知道map端溢写文件的位置的呢?Reduce端是怎么拉取数据的呢? 我们先再来回顾下
相关文章
相关标签/搜索