Spark的基本概念及工作原理

Spark作业的基本概念 -Application:用户自定义的Spark程序,用户提交后,Spark为App分配资源将程序转换并执行。 -Driver Program:运行Application的main()函数并且创建SparkContext。 -RDD DAG:当RDD遇到Action算子,将之前的所有算子形成一个有向无环图(DAG)。再在Spark中转化为Job,提交到集群进行执行。一个A
相关文章
相关标签/搜索