spark:RDD的五大特性

1.A list of partitions RDD是一个由多个partition(某个节点里的某一片连续的数据)组成的的list;将数据加载为RDD时,一般会遵循数据的本地性(一般一个hdfs里的block会加载为一个partition)。 2.A function for computing each split 一个函数计算每一个分片,RDD的每个partition上面都会有function
相关文章
相关标签/搜索