Spark 持久化(缓存)

Spark 持久化(缓存)  如前所述,Spark RDD 是惰性求值的,而有时咱们但愿能屡次使用同一个RDD。若是简单地对RDD 调用行动操做,Spark 每次都会重算RDD 以及它的全部依赖。这在迭代算法中消耗格外大,由于迭代算法经常会屡次使用同一组数据。javascript var input = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7)) v
相关文章
相关标签/搜索