Shuffle过程

Shuffle过程html 在MapReduce框架中,shuffle是链接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须通过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark做为MapReduce框架的一种实现,也实现了shuffle的逻辑。git  原文连接:http://www.cnblogs.com/yjd_hycf_spac
相关文章
相关标签/搜索