Spark 的运行过程(本人的一些总结)

  最近在复习Spark,有了一些自己的总结,在这里码上留作自己以后回忆所用。 (ps:本文不涉及基本概念的解答,只提供一个大致的思路)     代码的编写,缺少不了的就是main函数,而一个使用Spark的代码是怎么写的呢,首先是main函数,在main函数里会先创建一个Sparkcontext,数据的形式是RDD,内部函数是Spark中的transformation和action这两大类的多功
相关文章
相关标签/搜索