Spark会把数据都载入到内存么？

这篇文章算是个科普贴。若是已经熟悉Spark的就略过吧。编程 前言 不少初学者其实对Spark的编程模式仍是RDD这个概念理解不到位，就会产生一些误解。分布式 好比，不少时候咱们经常觉得一个文件是会被完整读入到内存，而后作各类变换，这极可能是受两个概念的误导：函数 RDD的定义，RDD是一个分布式的不可变数据集合 Spark 是一个内存处理引擎 若是你没有主动对RDDCache/Persist,它

>>阅读原文<<