Spark-性能调优

常用参数配置 --num-executors N --executor-cores  N    ：这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程。 --driver-memory Ng  --executor-memory Ng    ：每个Executor进程的内存设置4G~8G较为合适 --conf spark.def

>>阅读原文<<