Spark性能调优

1.系统资源使用 核心调优参数以下：           (1)num-executors ：该参数必定会被设置， Yarn 会按照Driver 的申请最终为当前的Application 生产指定个数的Executors。实际生产环境下分配80 个左右的Executors比较合适。           (2)executor-memory： 与JVM OOM 紧密相关，不少时候甚至决定了Spark

>>阅读原文<<