spark性能优化

一、分配更多的资源 1.一、分配哪些资源 executor-memory、executor-cores、num-executornode 1.二、在哪里设置这些资源 在生成环境中，提交spark任务时，使用spark-submit shell脚本，能够调整对应的参数 提交任务的脚本web spark-submit \ --master saprk://node01:7077 \ --class c

>>阅读原文<<