spark组件详细介绍

Spark应用程序在集群上作为独立的进程集合运行,由主程序(称为驱动程序)中的sparkContext对象与Spark集群进行交互协调 每个application(应用程序)有自己的executor进程,他们相互隔离,每个executor中可以有多个task线程。这样可以更好的隔离各个application;各个spark application 不能分享数据,除非把数据存储到外部系统。 (1)d
相关文章
相关标签/搜索