spark从入门到放弃五十五:设置executor 数量 和task 并行数

一.指定spark executor 数量的公式 在spark standalone 模式下无法直接指定每个worker 创建多少个executor 但是我们可以使用这样的方式。 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个

>>阅读原文<<