Spark浅析之stage,宽窄依赖和shuffle的关系

新手上路,若有不对的地方,请多多指导spa   前言线程   stage做为是Spark应用程序的调度任务划分模块,对它的理解有助你提升编写Spark代码的编写,说到底想要玩好Spark,就要玩好RDD。ip   宽窄依赖内存   宽依赖:1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1,但分区是1对多。it              2.父类RDD的一个分
相关文章
相关标签/搜索