Spark调优方案-资源参数调优

目录 Job运行的基本原理 参数调优 资源参数调优 shuffle参数调优 Job运行的基本原理 参数调优 资源参数调优 num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。 参数调优建议：每个Spark作业的运行一般设置50-100个左右。 executor-cores 参数说明：该参数用于设置每个Executor进程的CPU core数量

>>阅读原文<<