spark学习之宽依赖,窄依赖

目录   一:何为宽,何为窄 二:宽窄之程序运行效率比较 三:具体比较如图(细化到 task,executor) 一:何为宽,何为窄 以子Rdd对父Rdd的依赖关系为纬度,1对1为窄,反之则宽!   二:宽窄之程序运行效率比较 例子1:             窄依赖在自己的节点中,逐个元素地执行map、然后filter操作,父RDD节点的计算不用等待其它父节点的计算结果。           
相关文章
相关标签/搜索