Spark core 原理(一)

Spark core 原理 1.弹性分布式数据集（RDD） 1.1概念 数据集：须要运算的数据集合 分布式的： Spark加载的数据都是以分区的形式存储在各个节点上的，各个节点的分区组合在一块儿就是一个RDD，因此它是分布式的。 基于内存的（弹性的）： Spark在进行数据的转换或者计算的时候都是在内存中完成的，若是内存资源不够的话 ，那么它就会在磁盘中进行计算。java 1.2程序解析 程序代码

>>阅读原文<<