【Spark】源码分析之RDD的生成及stage的切分

一、概述 Spark源码整体的逻辑(spark1.3.1):从saveAsTextFile()方法入手 -->saveAsTextFile()  --> saveAsHadoopFile()  --> 封装hadoopConf,并传入saveAsHadoopDataset()方法 --> 拿到写出流SaprkHadoopWriter,调用self.context.runJob(self,write
相关文章
相关标签/搜索