2、Spark基本工作原理与RDD

一、基本工作原理 1、特点 分布式； 主要是基于内存（少数情况基于磁盘）； spark与，MapReduce最大的不同在于迭代式计算； MR分为两个阶段，map和reduce，两个阶段完了，job就结束了，所以我们在一个job里能做的处理很有限，只能是在map和reduce里处理； spark计算模型，可以分为n个阶段，因为它是内存迭代式的，我们在处理完一个阶段以后，可以继续往下处理很多个

>>阅读原文<<