关于spark RDD trans action算子、lineage、宽窄依赖详解

这篇文章想从spark当初设计时为什么提出RDD概念，相对于hadoop，RDD真的能给spark带来何等优点。以前本想开篇是想整体介绍spark，以及环境搭建过程，但我的感受RDD更为重要算法 铺垫 在hadoop中一个独立的计算，例如在一个迭代过程当中，除可复制的文件系统（HDFS）外没有提供其余存储的概念，这就致使在网络上进行数据复制而增长了大量的消耗，而对于两个的MapReduce做业之间

>>阅读原文<<