spark task、job、partition之间的关系 宽窄依赖 spark任务调度

1.task、job、partition之间的关系 1.1一个task处理一个partition的数据 1.2partition的数量是根据一次任务需要处理的hdfs上的block的数量决定的 1.3一个action类算子对应一个job 1.4一个job处理一个或多个partition的数据，所以一个job对应多个partition 关系图如下: 2.宽窄依赖 宽窄依赖实际上就是partition

>>阅读原文<<