17、Spark核心编程之Spark基本工作原理与RDD

Spark基本工作原理 分布式 主要基于内存(少数情况基于磁盘) 迭代式计算 Spark基本工作原理.png RDD以及其特点 RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,即弹性分布式数据集。 RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分
相关文章
相关标签/搜索