【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(2)

三， Spark的RDD

 在Spark中一切都是以RDD为基础和核心的：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

每一个RDD的API以下所示：

Spark官方文档中给出了的众多的RDD：

 

RDD中的操做分为transformations和actions两种：

下面举一个例子来讲明RDD的使用：

另外有两个特殊的RDD:

他们都是controlling operations：

RDD在执行的时候都是并行的：

四， Spark的高容错机制lineage

 

基于DAG图，lineage是轻量级而高效的：

操做之间相互具有lineage的关系，每一个操做只关心其父操做，各个分片的数据之间互不影响，出现错误的时候只要恢复单个Split的特定部分便可：