Spark编程模型(一):SparkContext的作用

    开发人员根据自己的需求,在main函数中调用Spark提供的数据操纵接口,利用集群来对数据执行并操作。Spark为开发人员提供了两类抽象接口。第一类抽象接口是弹性分布式数据集RDD,其是对数据集的抽象封装,开发人员可以通过RDD提供的开发接口来访问和操纵数据集合,而无需了解数据的存储介质(内存或磁盘)、文件系统(本地文件系统、HDFS或Tachyon)、存储结点(本地或远程结点)等诸多实现
相关文章
相关标签/搜索