Spark学习（二）——spark原理及优化

1、RDD原理 RDD读入外部数据源进行创建 RDD经过一系列的转换（Transformation）操作，每一次都会产生不同的RDD，供给下一个转换操作使用 最后一个RDD经过“动作”操作进行转换，并输出到外部数据源  这一系列处理称为一个Lineage（血缘关系），即DAG拓扑排序的结果 优点：惰性调用、管道化、避免同步等待、不需要保存中间结果、每次操作变得简单 RDD特点： 1）高效容错性：血

>>阅读原文<<