深入理解Spark的RDD

RDD全称Resilient Distribution DataSet  弹性的分布式数据集 其内部本身不存储数据，存储的类似于数据位置的指针，表明某个数据的具体位置 当spark集群从hdfs文件系统中读取文件后会把文件映射为一个RDD，这个RDD是逻辑上的概念其内部不存储数据，其中每个RDD的Partition和HDFS文件系统中的block 1、其内部是一系列的partition组成 2、每

>>阅读原文<<