Spark宽依赖 窄依赖 Job Stage Executor Task 总结

文章授权自: http://www.6aiq.com/article/1547041236424 宽依赖与窄依赖 窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency). 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用,子RDD分区通常对应常数个父RDD分区(O(1),与数据规模无关), map/filter和
相关文章
相关标签/搜索