Spark(三)————做业提交流程

一、Spark核心APIweb [SparkContext] 链接到spark集群,入口点.缓存 [RDD] 它是一个分区的集合. 弹性分布式数据集. 不可变的数据分区集合. 基本操做(map filter , persist) 分区列表 //数据 应用给每一个切片的计算函数 //行为 到其余RDD的依赖列表 //依赖关系 (可选)针对kv类型RDD的分区类 (可选)首选位置列表数据结构 [Had
相关文章
相关标签/搜索