【SPARK】- RDD操做

spark相关流程 每一个Spark应用都由一个驱动器程序(drive program)来发起集群上的各类并行操做。驱动器程序包含应用的main函数,驱动器负责建立SparkContext,SparkContext能够与不一样种类的集群资源管理器(Cluster Manager),例如Hadoop YARN,Mesos进行通讯,获取到集群进行所需的资源后,SparkContext将获得集群中工做节
相关文章
相关标签/搜索