Spark任务执行者之Executor

        这次讲的是Executor,啥是Executor呢?Executor是干什么的?        当我们在生产环境中提交spark作业时,用spark-submit shell脚本里,往往需要指定一个参数:--num-executors,你可以指定为3,5。。。这难道是随便指定的?爱设多少就设多少?很显然,答案是no,首先你得根据你集群的资源情况来设定。那我们就有必要来弄清楚这个是什
相关文章
相关标签/搜索