SPARK 宽依赖 和窄依赖 transfer action lazy策略之间的关系

  下面这段在网上拷贝的数据结构   宽依赖 和窄依赖   说明该操做是 是否有shuffler 操做   成长(lineage )的来源    app     最有趣的部分是DAGScheduler。下面详解它的工做过程。RDD的数据结构里很重要的一个域是对父RDD的依赖。如图3所示,有两类依赖:窄(Narrow)依赖和宽(Wide)依赖。  机器学习   图3 窄依赖和宽依赖ide 窄依赖指父
相关文章
相关标签/搜索