Spark RDD/DataFrame map保存数据的两种方式

使用Spark RDD或DataFrame,有时须要在foreachPartition或foreachWith里面保存数据到本地或HDFS。php 直接保存数据 固然若是不须要在map里面保存数据,那么针对RDD能够有以下方式web val rdd = // target rdd rdd.saveAsHadoopFile // add some parameters 针对DataFrame能够有以
相关文章
相关标签/搜索