Spark RDD缓存方式

RDD经过persist方法或cache方法能够将前面的计算结果缓存,可是并非这两个方法被调用时当即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。web System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new SparkConf().se
相关文章
相关标签/搜索