Spark学习之路 （十七）Spark分区

目录 一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1　本地模式 3.2　YARN模式 四、分区器   正文 回到顶部 一、分区的概念 　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD

>>阅读原文<<