Spark基础入门(一)--------RDD基础

(一)、RDD定义 不可变  分布式对象集合java 好比下图是RDD1的数据,它的Redcord是数字,分布在三个节点上,而且其内容不可变node   建立RDD有两种方式:shell 1) Driver中分发(parallelize方法)数据库 经过parallelize方法,将驱动程序(Driver)里的集合(复制过去)建立为分布式数据集(分区数默认和执行资源核数保持一致)缓存 List<I
相关文章
相关标签/搜索