Spark工作原理和RDD

Spark工作原理 第一步：Client将spark程序提交到Spark集群节点1、2、3上。 第二步：每个节点从HDFS或者Hive中读取相应的数据。 第三步：每个节点进行相应的迭代式计算。 第四步：把计算结果存储到指定的文件系统中（HDFS、Hive、MySql等。 RDD及其特点 1.RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性

>>阅读原文<<