spark-获取RDD的方式以及从分区中获益的操做

Spark获取RDD的分区方式:网络 使用partitioner对象,本质上是告诉咱们RDD中各个健分别属于哪一个分区。性能 isDefined:用来判断该对象是否是有值对象 Get:使用get来获取其中的值get date.partitioner.isDefinedit date.partitioner.getio Spark从分区中获益的操做:效率 Spark有许多算子都是要跨节点进行通讯的。
相关文章
相关标签/搜索