Spark常见20个面试题(含大部分答案)

一、什么是宽依赖,什么是窄依赖?哪些算子是宽依赖,哪些是窄依赖? 窄依赖就是一个父RDD分区对应一个子RDD分区,如map,filter 或者多个父RDD分区对应一个子RDD分区,如co-partioned joinhtml 宽依赖是一个父RDD分区对应非所有的子RDD分区,如groupByKey,ruduceByKey 或者一个父RDD分区对应所有的子RDD分区,如未经协同划分的join htt
相关文章
相关标签/搜索