spark的提交和执行流程

spark学习总结(spark运行流程) RDD建立方式 1对集合进行操做 sc.parallelize (指定元素位置) sc.makeRDD 2对指定路径的文件进行操做 sc.textFile  3从hdfs建立RDD sc.hadoopFile("") 4经过transformation转换获得RDD spark程序提交流程 1 DAGScheduler 决定运行task的理想位置 并传递信
相关文章
相关标签/搜索