Spark1.0.0 运行架构基本概念

Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application通常都是在集群中运行,好比Spark Standalone、YARN、mesos,这些集群给Spark Applicaiton提供了计算资源和这些资源管理,这些资源既能够给executor运行,也能够给driver program
相关文章
相关标签/搜索