10.spark executor

spark executor Executor是spark任务(task)的执行单元,运行在worker上,但是不等同于worker,实际上它是一组计算资源(cpu核心、memory)的集合。一个worker上的memory、cpu由多个executor共同分摊。   spark.executor.cores:顾名思义这个参数是用来指定executor的cpu内核个数,分配更多的内核意味着exec
相关文章
相关标签/搜索