Spark RDD概念学习系列之RDD的5大特点(五)

RDD的5大特点        1)有一个分片列表,就是能被切分,和Hadoop一样,能够切分的数据才能并行计算。   一组分片(partition),即数据集的基本组成单位,对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由Block
相关文章
相关标签/搜索